Eine Vielzahl von Bildern kann von einer Vielzahl von Sensoren erlangt werden und aus der Vielzahl von Bildern kann eine Vielzahl von abgeflachten Patches extrahiert werden. Jedem der Vielzahl von abgeflachten Patches kann eine Bildposition in der Vielzahl von Bildern und ein Sensortyptoken, das einen Sensortyp identifiziert, der verwendet wurde, um ein Bild in der Vielzahl von Bildern zu erlangen, aus dem der jeweilige abgeflachte Patch erlangt wurde, hinzugefügt werden. Die abgeflachten Patches können in einen flachen Tensor verkettet werden und ein Aufgabentoken hinzufügen, das dem flachen Tensor eine Verarbeitungsaufgabe angibt, wobei der flache Tensor ein eindimensionales Feld ist, das zwei oder mehr Datentypen beinhaltet. Der flache Tensor kann in ein erstes tiefes neuronales Netzwerk eingegeben werden, das eine Vielzahl von Codiererschichten und eine Vielzahl von Decodiererschichten beinhaltet und eine Umwandlerausgabe ausgibt. Die Umwandlerausgabe kann in ein zweites tiefes neuronales Netzwerk eingegeben werden, das eine durch das Token angegebene Objektvorhersage bestimmt, und die Objektvorhersagen können ausgegeben werden.

    A plurality of images can be acquired from a plurality of sensors and a plurality of flattened patches can be extracted from the plurality of images. An image location in the plurality of images and a sensor type token identifying a type of sensor used to acquire an image in the plurality of images from which the respective flattened patch was acquired can be added to each of the plurality of flattened patches. The flattened patches can be concatenated into a flat tensor and add a task token indicating a processing task to the flat tensor, wherein the flat tensor is a one-dimensional array that includes two or more types of data. The flat tensor can be input to a first deep neural network that includes a plurality of encoder layers and a plurality of decoder layers and outputs transformer output. The transformer output can be input to a second deep neural network that determines an object prediction indicated by the token and the object predictions can be output.


    Access

    Download


    Export, share and cite



    Title :

    SENSORFUSION


    Contributors:

    Publication date :

    2023-07-27


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    German


    Classification :

    IPC:    G06V / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen



    SENSORFUSION

    SITHIRAVEL RAJIV / LAPORTE DAVID / CAREY KYLE J | European Patent Office | 2020

    Free access

    ADAPTIVE SENSORFUSION

    SOLTANI BOZCHALOOI IMAN / ASSADIAN FRANCIS / SCARIA LISA | European Patent Office | 2021

    Free access

    Sensorfusion und Informationsfusion

    Heizmann,M. / Fraunhofer Inst.f.Optronik,Systemtechnik u.Bildauswertung,IOSB,Karlsruhe,DE | Automotive engineering | 2012


    Verfahren zur Sensorfusion

    EHRET FELIX / HANUSCHKIN ALEXANDER / HOIS JOANA et al. | European Patent Office | 2024

    Free access

    Sensorfusion für Fahrerassistenzsysteme

    Vukotich, A. / Kirchner, A. | Tema Archive | 2001