A decision-making method and system based on multi-modal information perception in an external environment. The method comprises: under normal weather conditions, performing feature fusion on camera data and laser radar data to obtain first fused data, the first fused data being used for driving decision making; and under severe weather conditions, performing feature fusion on the first fused data and millimeter wave radar data to obtain second fused data, the second fused data being used for driving decision making. The decision-making method and system based on multi-modal information perception in an external environment solve the problem in the prior art that a driverless vehicle has low environmental perception precision.
La présente invention concerne un procédé et un système de prise de décision basés sur la perception d'informations multimodale dans un environnement externe. Le procédé comprend les étapes consistant à : dans des conditions météorologiques normales, réaliser une fusion de caractéristiques sur des données de caméra et des données de radar laser pour obtenir des premières données fusionnées, les premières données fusionnées étant utilisées pour commander la prise de décision ; et dans des conditions météorologiques difficiles, réaliser une fusion de caractéristiques sur les premières données fusionnées et des données de radar à ondes millimétriques pour obtenir des secondes données fusionnées, les secondes données fusionnées étant utilisées pour commander la prise de décision. Le procédé et le système de prise de décision basés sur la perception d'informations multimodale dans un environnement externe résolvent le problème de l'état de la technique selon lequel un véhicule sans conducteur a une faible précision de perception environnementale.
一种基于外环境多模态信息感知的决策方法及系统,在正常天气条件下,将摄像头数据和激光雷达数据进行特征融合,得到第一融合数据,第一融合数据用于驾驶决策;在恶劣天气条件下,将第一融合数据和毫米波雷达数据进行特征融合,得到第二融合数据,第二融合数据用于驾驶决策。通过基于外环境多模态信息感知的决策方法及系统解决了现有技术中无人驾驶汽车对环境感知精度差的问题。
DECISION-MAKING METHOD AND SYSTEM BASED ON MULTI-MODAL INFORMATION PERCEPTION IN EXTERNAL ENVIRONMENT
PROCÉDÉ ET SYSTÈME DE PRISE DE DÉCISION BASÉS SUR LA PERCEPTION D'INFORMATIONS MULTIMODALE DANS UN ENVIRONNEMENT EXTERNE
一种基于外环境多模态信息感知的决策方法及系统
2024-05-10
Patent
Electronic Resource
Chinese
IPC: | B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion |
Decision-making method and system based on external environment multi-modal information perception
European Patent Office | 2023
|Automatic driving decision-making system based on multi-modal perception and hierarchical action
European Patent Office | 2023
|Parameterized Decision-making with Multi-modal Perception for Autonomous Driving
ArXiv | 2023
|European Patent Office | 2023
|