To provide an action determination system and an automatic driving control device, capable of improving the leaning speed while securing the learning stability when a reinforcement learning method is used.SOLUTION: In an action determination system 10, an action value function Q is calculated using a state s, and an optimal action a is determined using the action value function Q. A parameter θ of a neural network for calculating the action value function Q is updated so that an error function L is minimized, which is defined so as to include a squared term of TD error of the action value function Q and a squared term of the difference between the action value function Q and a target value T.SELECTED DRAWING: Figure 2
【課題】強化学習法を用いる場合において、学習の安定性を確保しながら、学習速度を向上させることができる行動決定システム及び自動運転制御装置を提供する。【解決手段】行動決定システム10は、状態sを用いて、行動価値関数Qを算出し、行動価値関数Qを用いて、最適な行動aを決定する。行動価値関数QのTD誤差の2乗項と、行動価値関数Qとターゲット値Tとの差分の2乗項とを含むように定義された誤差関数Lが最小になるように、行動価値関数Q算出用のニューラルネットワークのパラメータθを更新する。【選択図】図2
ACTION DETERMINATION SYSTEM AND AUTOMATIC DRIVING CONTROL DEVICE
行動決定システム及び自動運転制御装置
2019-06-06
Patent
Elektronische Ressource
Japanisch
IPC: | G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / B62D MOTOR VEHICLES , Motorfahrzeuge / G05B Steuer- oder Regelsysteme allgemein , CONTROL OR REGULATING SYSTEMS IN GENERAL |
Europäisches Patentamt | 2022
|Europäisches Patentamt | 2021
|Europäisches Patentamt | 2021
|Automatic driving control system and automatic driving control device
Europäisches Patentamt | 2021
|ACTION PREDICTION DEVICE AND AUTOMATIC DRIVING DEVICE
Europäisches Patentamt | 2019
|