Techniques are discussed herein for using a machine learning attention mechanism to predict movements, states, and/or trajectories of agents in various environments. In various examples, a prediction component of an autonomous vehicle may analyze sensor data to determine, for individual agents in the environment, unique sets of additional objects that are relevant to predicting the subsequent movements of the individual agents. For a particular agent, the prediction component may determine the relative positions and/or states between the agent and the associated set of relevant objects for the agent, and may use an attention mechanism to determine an object interaction vector including weighted attention scores for each additional object relative to the agent. Object interaction vectors may be generated for any number of agents and/or any number of timesteps to determine predicted agent movements and to forecast subsequent driving scenes within the environment.
L'invention concerne des techniques d'utilisation d'un mécanisme d'attention d'apprentissage automatique pour prédire des mouvements, des états et/ou des trajectoires d'agents dans divers environnements. Dans divers exemples, un composant de prédiction d'un véhicule autonome peut analyser des données de capteur pour déterminer, pour des agents individuels dans l'environnement, des ensembles uniques d'objets supplémentaires qui sont pertinents pour prédire les mouvements ultérieurs des agents individuels. Pour un agent particulier, le composant de prédiction peut déterminer les positions et/ou les états relatifs entre l'agent et l'ensemble associé d'objets pertinents pour l'agent, et peut utiliser un mécanisme d'attention pour déterminer un vecteur d'interaction d'objet comprenant des scores d'attention pondérés pour chaque objet supplémentaire par rapport à l'agent. Des vecteurs d'interaction d'objet peuvent être générés pour n'importe quel nombre d'agents et/ou un nombre quelconque d'intervalles de temps pour déterminer des mouvements d'agent prédits et pour prévoir des scènes de conduite ultérieures à l'intérieur de l'environnement.
TRAJECTORY PREDICTION FOR AUTONOMOUS VEHICLES USING ATTENTION MECHANISM
PRÉDICTION DE TRAJECTOIRE POUR VÉHICULES AUTONOMES À L'AIDE D'UN MÉCANISME D'ATTENTION
2024-07-11
Patent
Electronic Resource
English
IPC: | B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen |
TRAJECTORY PREDICTION FOR AUTONOMOUS VEHICLES USING ATTENTION MECHANISM
European Patent Office | 2024
|Trajectory prediction for intelligent vehicles using spatial‐attention mechanism
Wiley | 2020
|Trajectory prediction for intelligent vehicles using spatial-attention mechanism
IET | 2021
|