Eine Vielzahl von Bildern kann von einer Vielzahl von Sensoren erlangt werden und aus der Vielzahl von Bildern kann eine Vielzahl von abgeflachten Patches extrahiert werden. Jedem der Vielzahl von abgeflachten Patches kann eine Bildposition in der Vielzahl von Bildern und ein Sensortyptoken, das einen Sensortyp identifiziert, der verwendet wurde, um ein Bild in der Vielzahl von Bildern zu erlangen, aus dem der jeweilige abgeflachte Patch erlangt wurde, hinzugefügt werden. Die abgeflachten Patches können in einen flachen Tensor verkettet werden und ein Aufgabentoken hinzufügen, das dem flachen Tensor eine Verarbeitungsaufgabe angibt, wobei der flache Tensor ein eindimensionales Feld ist, das zwei oder mehr Datentypen beinhaltet. Der flache Tensor kann in ein erstes tiefes neuronales Netzwerk eingegeben werden, das eine Vielzahl von Codiererschichten und eine Vielzahl von Decodiererschichten beinhaltet und eine Umwandlerausgabe ausgibt. Die Umwandlerausgabe kann in ein zweites tiefes neuronales Netzwerk eingegeben werden, das eine durch das Token angegebene Objektvorhersage bestimmt, und die Objektvorhersagen können ausgegeben werden.

    A plurality of images can be acquired from a plurality of sensors and a plurality of flattened patches can be extracted from the plurality of images. An image location in the plurality of images and a sensor type token identifying a type of sensor used to acquire an image in the plurality of images from which the respective flattened patch was acquired can be added to each of the plurality of flattened patches. The flattened patches can be concatenated into a flat tensor and add a task token indicating a processing task to the flat tensor, wherein the flat tensor is a one-dimensional array that includes two or more types of data. The flat tensor can be input to a first deep neural network that includes a plurality of encoder layers and a plurality of decoder layers and outputs transformer output. The transformer output can be input to a second deep neural network that determines an object prediction indicated by the token and the object predictions can be output.


    Zugriff

    Download


    Exportieren, teilen und zitieren



    Titel :

    SENSORFUSION


    Beteiligte:
    BANERJEE GAURAB (Autor:in) / NAGASAMY VIJAY (Autor:in)

    Erscheinungsdatum :

    2023-07-27


    Medientyp :

    Patent


    Format :

    Elektronische Ressource


    Sprache :

    Deutsch


    Klassifikation :

    IPC:    G06V / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen



    SENSORFUSION

    SITHIRAVEL RAJIV / LAPORTE DAVID / CAREY KYLE J | Europäisches Patentamt | 2020

    Freier Zugriff

    ADAPTIVE SENSORFUSION

    SOLTANI BOZCHALOOI IMAN / ASSADIAN FRANCIS / SCARIA LISA | Europäisches Patentamt | 2021

    Freier Zugriff

    Sensorfusion und Informationsfusion

    Heizmann,M. / Fraunhofer Inst.f.Optronik,Systemtechnik u.Bildauswertung,IOSB,Karlsruhe,DE | Kraftfahrwesen | 2012


    Verfahren zur Sensorfusion

    EHRET FELIX / HANUSCHKIN ALEXANDER / HOIS JOANA et al. | Europäisches Patentamt | 2024

    Freier Zugriff

    Sensorfusion für Fahrerassistenzsysteme

    Vukotich, A. / Kirchner, A. | Tema Archiv | 2001