To provide an action determination system and an automatic driving control device, capable of improving the leaning speed while securing the learning stability when a reinforcement learning method is used.SOLUTION: In an action determination system 10, an action value function Q is calculated using a state s, and an optimal action a is determined using the action value function Q. A parameter θ of a neural network for calculating the action value function Q is updated so that an error function L is minimized, which is defined so as to include a squared term of TD error of the action value function Q and a squared term of the difference between the action value function Q and a target value T.SELECTED DRAWING: Figure 2

    【課題】強化学習法を用いる場合において、学習の安定性を確保しながら、学習速度を向上させることができる行動決定システム及び自動運転制御装置を提供する。【解決手段】行動決定システム10は、状態sを用いて、行動価値関数Qを算出し、行動価値関数Qを用いて、最適な行動aを決定する。行動価値関数QのTD誤差の2乗項と、行動価値関数Qとターゲット値Tとの差分の2乗項とを含むように定義された誤差関数Lが最小になるように、行動価値関数Q算出用のニューラルネットワークのパラメータθを更新する。【選択図】図2


    Zugriff

    Download


    Exportieren, teilen und zitieren



    Titel :

    ACTION DETERMINATION SYSTEM AND AUTOMATIC DRIVING CONTROL DEVICE


    Weitere Titelangaben:

    行動決定システム及び自動運転制御装置


    Beteiligte:
    NAKANISHI KOSUKE (Autor:in) / YASUI YUJI (Autor:in) / KIZUMI YUKI (Autor:in) / ONISHI SHOTA (Autor:in) / ISHII MAKOTO (Autor:in)

    Erscheinungsdatum :

    2019-06-06


    Medientyp :

    Patent


    Format :

    Elektronische Ressource


    Sprache :

    Japanisch


    Klassifikation :

    IPC:    G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / B62D MOTOR VEHICLES , Motorfahrzeuge / G05B Steuer- oder Regelsysteme allgemein , CONTROL OR REGULATING SYSTEMS IN GENERAL






    Automatic driving control system and automatic driving control device

    CAI YUNYUE / CHEN JIONG / SHI YAN et al. | Europäisches Patentamt | 2021

    Freier Zugriff

    ACTION PREDICTION DEVICE AND AUTOMATIC DRIVING DEVICE

    YASUI YUJI / ICHINO YUKI | Europäisches Patentamt | 2019

    Freier Zugriff