Die Erfindung betrifft ein Verfahren zum Unterstützen einer Manöverplanung (33) für ein automatisiert fahrendes Fahrzeug (50) oder einen Roboter, wobei ein Zustandsraum (10) eines Umfelds des Fahrzeugs (50) oder des Roboters in diskreter Form mittels eines Markow-Entscheidungsproblems beschrieben wird, wobei mittels Dynamischer Programmierung optimale Aktionswerte (Qx) für diskretisierte Aktionen (At) ausgehend von diskreten Zuständen (11) im Zustandsraum (10) bestimmt werden, wobei eine Abbildung (20) mit Zuständen (11) im Zustandsraum (10) als Eingabewerten und mit Aktionswerten (Qx) für Aktionen (At) im Zustandsraum (10) als Ausgabewerten mittels eines Reinforcement Learning-Verfahren gelernt wird, wobei ein Reinforcement Learning Agent hierbei auf Grundlage der mittels der Dynamischen Programmierung bestimmten optimalen Aktionswerte (Qx) initialisiert wird, und wobei die gelernte Abbildung (20) für eine Manöverplanung (33) bereitgestellt wird. Ferner betrifft die Erfindung eine Vorrichtung (1) zum Unterstützen einer Manöverplanung (33) für ein automatisiert fahrendes Fahrzeug (50) oder einen Roboter.
A method for assisting maneuver planning for a transportation vehicle driving by automation or for a robot; wherein a state space of an environment of the transportation vehicle or the robot is discretely described by a Markov decision process; wherein optimal action values for discretized actions are determined by dynamic programming, based on discrete states in the state space; wherein a mapping with states in the state space as input values, and with action values for actions in the state space as output values, is learned by a reinforcement learning method; wherein a reinforcement learning agent is initialized based on the optimal action values determined by the dynamic programming; and wherein the learned mapping is provided for maneuver planning. Also disclosed is a device for assisting maneuver planning for a transportation vehicle driving by automation or for a robot.
Verfahren und Vorrichtung zum Unterstützen einer Manöverplanung für ein automatisiert fahrendes Fahrzeug oder einen Roboter
2021-08-26
Patent
Electronic Resource
German
IPC: | G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion |
European Patent Office | 2023
|European Patent Office | 2022
|Verfahren und Vorrichtung zur Ermittlung einer Fahrroute für ein automatisiert fahrendes Fahrzeug
European Patent Office | 2022
|European Patent Office | 2023
|