Systeme und Verfahren zum Steuern von End-to-End-Lernen von Befehlen zum Steuern eines autonomen Fahrzeugs werden bereitgestellt. Ein Präprozessor verarbeitet von Sensoren in einem aktuellen Zeitschritt (CTS) aufgenommene Bilddaten, um vorverarbeitete Bilddaten zu erzeugen, die mit zusätzlichen Eingaben (z. B. einer Segmentierungskarte und/oder einer optischen Strömungskarte verkettet sind), um eine dynamische Szenenausgabe zu erzeugen. Ein neuronales Faltungsnetzwerk (CNN) verarbeitet die dynamische Szenenausgabe, um eine Merkmalskarte zu erzeugen, die extrahierte räumliche Merkmale beinhaltet, die mit der Fahrzeugkinematik verkettet sind, um einen räumlichen Kontextmerkmalsvektor zu erzeugen. Ein LSTM-Netzwerk verarbeitet während des (CTS) den räumlichen Kontextmerkmalsvektor am (CTS) und einen oder mehrere vorherige LSTM-Ausgaben bei entsprechenden vorherigen Zeitschritten, um einen kodierten zeitlichen Kontextvektor an der (CTS) zu erzeugen. Die vollständig verbundene Schicht verarbeitet den kodierten zeitlichen Kontextvektor, um Steuerbefehle (z. B. Lenkwinkel, Beschleunigungsrate und/oder Bremsratensteuerbefehl) zu lernens).

    Systems and methods are provided for end-to-end learning of commands for controlling an autonomous vehicle. A pre-processor pre-processes image data acquired by sensors at a current time step (CTS) to generate pre-processed image data that is concatenated with additional input(s) (e.g., a segmentation map and/or optical flow map) to generate a dynamic scene output. A convolutional neural network (CNN) processes the dynamic scene output to generate a feature map that includes extracted spatial features that are concatenated with vehicle kinematics to generate a spatial context feature vector. An LSTM network processes, during the (CTS), the spatial context feature vector at the (CTS) and one or more previous LSTM outputs at corresponding previous time steps to generate an encoded temporal context vector at the (CTS). The fully connected layer processes the encoded temporal context vector to learn control command(s) (e.g., steering angle, acceleration rate and/or a brake rate control commands).


    Zugriff

    Download


    Exportieren, teilen und zitieren



    Titel :

    VERFAHREN UND SYSTEM ZUM DURCHGEHENDEN LERNEN VON STEUERBEFEHLEN FÜR AUTONOME FAHRZEUGE


    Beteiligte:
    PALANISAMY PRAVEEN (Autor:in) / MUDALIGE UPALI P (Autor:in) / CHEN YILUN (Autor:in) / DOLAN JOHN M (Autor:in) / MUELLING KATHARINA (Autor:in)

    Erscheinungsdatum :

    07.05.2020


    Medientyp :

    Patent


    Format :

    Elektronische Ressource


    Sprache :

    Deutsch


    Klassifikation :

    IPC:    B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06V



    Autonome Systeme : was Fahrzeuge aus der Robotik lernen können

    Schrödel, Frank / Echim, Mitja | SLUB | 2025


    FÜHRUNGSSYSTEM UND -VERFAHREN FÜR AUTONOME FAHRZEUGE

    WELLS JAMES W / MCKAY NEIL D / OH SEOG-CHAN | Europäisches Patentamt | 2020

    Freier Zugriff

    Autonome Systeme : was Fahrzeuge aus der Robotik lernen können

    Schrödel, Frank / Echim, Mitja | TIBKAT | 2025


    Steuervorrichtung und Verfahren zur Übermittlung von Steuerbefehlen

    HEHL FABIAN | Europäisches Patentamt | 2024

    Freier Zugriff

    Sicherheitssysteme und -verfahren für autonome Fahrzeuge

    LJUBUNCIC IGOR / SACK RAPHAEL / RIDER TOMER et al. | Europäisches Patentamt | 2018

    Freier Zugriff