Systeme und Verfahren zum Steuern von End-to-End-Lernen von Befehlen zum Steuern eines autonomen Fahrzeugs werden bereitgestellt. Ein Präprozessor verarbeitet von Sensoren in einem aktuellen Zeitschritt (CTS) aufgenommene Bilddaten, um vorverarbeitete Bilddaten zu erzeugen, die mit zusätzlichen Eingaben (z. B. einer Segmentierungskarte und/oder einer optischen Strömungskarte verkettet sind), um eine dynamische Szenenausgabe zu erzeugen. Ein neuronales Faltungsnetzwerk (CNN) verarbeitet die dynamische Szenenausgabe, um eine Merkmalskarte zu erzeugen, die extrahierte räumliche Merkmale beinhaltet, die mit der Fahrzeugkinematik verkettet sind, um einen räumlichen Kontextmerkmalsvektor zu erzeugen. Ein LSTM-Netzwerk verarbeitet während des (CTS) den räumlichen Kontextmerkmalsvektor am (CTS) und einen oder mehrere vorherige LSTM-Ausgaben bei entsprechenden vorherigen Zeitschritten, um einen kodierten zeitlichen Kontextvektor an der (CTS) zu erzeugen. Die vollständig verbundene Schicht verarbeitet den kodierten zeitlichen Kontextvektor, um Steuerbefehle (z. B. Lenkwinkel, Beschleunigungsrate und/oder Bremsratensteuerbefehl) zu lernens).
Systems and methods are provided for end-to-end learning of commands for controlling an autonomous vehicle. A pre-processor pre-processes image data acquired by sensors at a current time step (CTS) to generate pre-processed image data that is concatenated with additional input(s) (e.g., a segmentation map and/or optical flow map) to generate a dynamic scene output. A convolutional neural network (CNN) processes the dynamic scene output to generate a feature map that includes extracted spatial features that are concatenated with vehicle kinematics to generate a spatial context feature vector. An LSTM network processes, during the (CTS), the spatial context feature vector at the (CTS) and one or more previous LSTM outputs at corresponding previous time steps to generate an encoded temporal context vector at the (CTS). The fully connected layer processes the encoded temporal context vector to learn control command(s) (e.g., steering angle, acceleration rate and/or a brake rate control commands).
VERFAHREN UND SYSTEM ZUM DURCHGEHENDEN LERNEN VON STEUERBEFEHLEN FÜR AUTONOME FAHRZEUGE
2020-05-07
Patent
Electronic Resource
German
Autonome Systeme : was Fahrzeuge aus der Robotik lernen können
TIBKAT | 2025
|Steuervorrichtung und Verfahren zur Übermittlung von Steuerbefehlen
European Patent Office | 2024
|Sicherheitssysteme und -verfahren für autonome Fahrzeuge
European Patent Office | 2018
|