Systeme und Verfahren zum Steuern von End-to-End-Lernen von Befehlen zum Steuern eines autonomen Fahrzeugs werden bereitgestellt. Ein Präprozessor verarbeitet von Sensoren in einem aktuellen Zeitschritt (CTS) aufgenommene Bilddaten, um vorverarbeitete Bilddaten zu erzeugen, die mit zusätzlichen Eingaben (z. B. einer Segmentierungskarte und/oder einer optischen Strömungskarte verkettet sind), um eine dynamische Szenenausgabe zu erzeugen. Ein neuronales Faltungsnetzwerk (CNN) verarbeitet die dynamische Szenenausgabe, um eine Merkmalskarte zu erzeugen, die extrahierte räumliche Merkmale beinhaltet, die mit der Fahrzeugkinematik verkettet sind, um einen räumlichen Kontextmerkmalsvektor zu erzeugen. Ein LSTM-Netzwerk verarbeitet während des (CTS) den räumlichen Kontextmerkmalsvektor am (CTS) und einen oder mehrere vorherige LSTM-Ausgaben bei entsprechenden vorherigen Zeitschritten, um einen kodierten zeitlichen Kontextvektor an der (CTS) zu erzeugen. Die vollständig verbundene Schicht verarbeitet den kodierten zeitlichen Kontextvektor, um Steuerbefehle (z. B. Lenkwinkel, Beschleunigungsrate und/oder Bremsratensteuerbefehl) zu lernens).

    Systems and methods are provided for end-to-end learning of commands for controlling an autonomous vehicle. A pre-processor pre-processes image data acquired by sensors at a current time step (CTS) to generate pre-processed image data that is concatenated with additional input(s) (e.g., a segmentation map and/or optical flow map) to generate a dynamic scene output. A convolutional neural network (CNN) processes the dynamic scene output to generate a feature map that includes extracted spatial features that are concatenated with vehicle kinematics to generate a spatial context feature vector. An LSTM network processes, during the (CTS), the spatial context feature vector at the (CTS) and one or more previous LSTM outputs at corresponding previous time steps to generate an encoded temporal context vector at the (CTS). The fully connected layer processes the encoded temporal context vector to learn control command(s) (e.g., steering angle, acceleration rate and/or a brake rate control commands).


    Access

    Download


    Export, share and cite



    Title :

    VERFAHREN UND SYSTEM ZUM DURCHGEHENDEN LERNEN VON STEUERBEFEHLEN FÜR AUTONOME FAHRZEUGE


    Contributors:

    Publication date :

    2020-05-07


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    German


    Classification :

    IPC:    B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06V



    Autonome Systeme : was Fahrzeuge aus der Robotik lernen können

    Schrödel, Frank / Echim, Mitja | SLUB | 2025


    FÜHRUNGSSYSTEM UND -VERFAHREN FÜR AUTONOME FAHRZEUGE

    WELLS JAMES W / MCKAY NEIL D / OH SEOG-CHAN | European Patent Office | 2020

    Free access

    Autonome Systeme : was Fahrzeuge aus der Robotik lernen können

    Schrödel, Frank / Echim, Mitja | TIBKAT | 2025


    Steuervorrichtung und Verfahren zur Übermittlung von Steuerbefehlen

    HEHL FABIAN | European Patent Office | 2024

    Free access

    Sicherheitssysteme und -verfahren für autonome Fahrzeuge

    LJUBUNCIC IGOR / SACK RAPHAEL / RIDER TOMER et al. | European Patent Office | 2018

    Free access