Provided are an autonomous driving model, method, apparatus and vehicle capable of achieving multi-modal interaction. An input layer (210) in an autonomous driving model (200) is configured to receive historical decision information (201), sensing information (202), traffic information (203) and interaction information (204) at a current moment; an encoding layer (220) is configured to encode input information; an autoregressive inference layer (230) is configured to obtain a hidden state for a next moment; and a decoding layer (240) is configured to perform decoding so as to obtain interaction information for the next moment and autonomous driving decision-making information for the next moment. The autonomous driving model (200) may understand a current driving environment by inferring the sensing information (202), the traffic information (203) and the interaction information (204), and gains a better understanding of the influence of historical operations on the autonomous driving process by inferring historical decision-making data, thereby making an output result of the autonomous driving model achieve better interpretability and controllability.

    L'invention concerne un modèle de conduite autonome, un procédé, un appareil et un véhicule permettant d'obtenir une interaction multimodale. Une couche d'entrée (210) dans un modèle de conduite autonome (200) est conçue pour recevoir des informations de décision historiques (201), des informations de détection (202), des informations de trafic (203) et des informations d'interaction (204) à un moment réel ; une couche de codage (220) est conçue pour coder des informations d'entrée ; une couche d'inférence autorégressive (230) est conçue pour obtenir un état caché pour un moment suivant ; et une couche de décodage (240) est conçue pour effectuer un décodage de façon à obtenir des informations d'interaction pour le moment suivant et des informations de prise de décision de conduite autonome pour le moment suivant. Le modèle de conduite autonome (200) peut comprendre un environnement de conduite réel en déduisant les informations de détection (202), les informations de trafic (203) et les informations d'interaction (204), et obtient une meilleure compréhension de l'influence d'opérations historiques sur le processus de conduite autonome par déduction de données de prise de décision historiques, ce qui permet d'assurer une meilleure interprétabilité et une meilleure contrôlabilité d'un résultat de sortie du modèle de conduite autonome.

    提供了一种能够实现多模态交互的自动驾驶模型、方法、装置和车辆,自动驾驶模型(200)中的输入层(210)被配置成接收当前时刻的历史决策信息(201)、感知信息(202)、交通信息(203)以及交互信息(204);编码层(220)被配置成对输入信息进行编码,自回归推理层(230)被配置成得到下一时刻的隐状态;解码层(240)被配置成解码得到下一时刻的交互信息和用于下一时刻的自动驾驶决策信息,自动驾驶模型(200)可以通过对感知信息(202)、交通信息(203)和交互信息(204)的推理对当前驾驶环境进行理解,并结合对历史决策数据进行推理来更好地理解历史操作对自动驾驶过程的影响,从而使得自动驾驶模型的输出结果具有更好的可解释性和可控性。


    Access

    Download


    Export, share and cite



    Title :

    AUTONOMOUS DRIVING MODEL, METHOD, APPARATUS AND VEHICLE CAPABLE OF ACHIEVING MULTI-MODAL INTERACTION


    Additional title:

    MODÈLE DE CONDUITE AUTONOME, PROCÉDÉ, APPAREIL ET VÉHICULE PERMETTANT D'OBTENIR UNE INTERACTION MULTIMODALE
    能够实现多模态交互的自动驾驶模型、方法、装置和车辆


    Contributors:
    HUANG JIZHOU (author) / WANG FAN (author)

    Publication date :

    2025-06-05


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    Chinese


    Classification :

    IPC:    B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen



    VEHICLE BRAKING SYSTEM AND METHOD CAPABLE OF ACHIEVING AUTONOMOUS DRIVING

    HOU HUAAN / REN XIANGJIE / LV XIAO et al. | European Patent Office | 2022

    Free access

    Automatic driving model, method and device capable of realizing multi-modal interaction and vehicle

    HUANG JIZHOU / WANG FAN | European Patent Office | 2024

    Free access

    VEHICLE CAPABLE OF DRIVING ASSISTANCE OR AUTONOMOUS DRIVING

    SHIDARA MASAKI / YAMANOUCHI TAKETOMO / HATTORI RYO | European Patent Office | 2021

    Free access

    Agricultural vehicle capable of autonomous driving

    PARK CHUN SUK / JUN YEON HO | European Patent Office | 2023

    Free access

    AUTONOMOUS VEHICLE MULTI-MODAL TRIPS

    GERRESE ALEXANDER WILLEM | European Patent Office | 2023

    Free access