Eine Vielzahl von Bildern kann von einer Vielzahl von Sensoren erlangt werden und aus der Vielzahl von Bildern kann eine Vielzahl von abgeflachten Patches extrahiert werden. Jedem der Vielzahl von abgeflachten Patches kann eine Bildposition in der Vielzahl von Bildern und ein Sensortyptoken, das einen Sensortyp identifiziert, der verwendet wurde, um ein Bild in der Vielzahl von Bildern zu erlangen, aus dem der jeweilige abgeflachte Patch erlangt wurde, hinzugefügt werden. Die abgeflachten Patches können in einen flachen Tensor verkettet werden und ein Aufgabentoken hinzufügen, das dem flachen Tensor eine Verarbeitungsaufgabe angibt, wobei der flache Tensor ein eindimensionales Feld ist, das zwei oder mehr Datentypen beinhaltet. Der flache Tensor kann in ein erstes tiefes neuronales Netzwerk eingegeben werden, das eine Vielzahl von Codiererschichten und eine Vielzahl von Decodiererschichten beinhaltet und eine Umwandlerausgabe ausgibt. Die Umwandlerausgabe kann in ein zweites tiefes neuronales Netzwerk eingegeben werden, das eine durch das Token angegebene Objektvorhersage bestimmt, und die Objektvorhersagen können ausgegeben werden.
A plurality of images can be acquired from a plurality of sensors and a plurality of flattened patches can be extracted from the plurality of images. An image location in the plurality of images and a sensor type token identifying a type of sensor used to acquire an image in the plurality of images from which the respective flattened patch was acquired can be added to each of the plurality of flattened patches. The flattened patches can be concatenated into a flat tensor and add a task token indicating a processing task to the flat tensor, wherein the flat tensor is a one-dimensional array that includes two or more types of data. The flat tensor can be input to a first deep neural network that includes a plurality of encoder layers and a plurality of decoder layers and outputs transformer output. The transformer output can be input to a second deep neural network that determines an object prediction indicated by the token and the object predictions can be output.
SENSORFUSION
2023-07-27
Patent
Electronic Resource
German
IPC: | G06V / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen |
Sensorfusion und Informationsfusion
Automotive engineering | 2012
|Sensorfusion für Fahrerassistenzsysteme
Tema Archive | 2001
|