Techniques for determining predictions on a top-down representation of an environment based on vehicle action(s) are discussed herein. Sensors of a first vehicle (such as an autonomous vehicle) can capture sensor data of an environment, which may include object(s) separate from the first vehicle (e.g., a vehicle or a pedestrian). A multi-channel image representing a top-down view of the object(s) and the environment can be generated based on the sensor data, map data, and/or action data. Environmental data (object extents, velocities, lane positions, crosswalks, etc.) can be encoded in the image. Action data can represent a target lane, trajectory, etc. of the first vehicle. Multiple images can be generated representing the environment over time and input into a prediction system configured to output prediction probabilities associated with possible locations of the object(s) in the future, which may be based on the actions of the autonomous vehicle.
L'invention concerne des techniques permettant de déterminer des prédictions sur une représentation de haut en bas d'un environnement sur la base d'une ou plusieurs actions de véhicule. Des capteurs d'un premier véhicule (tel qu'un véhicule autonome) peuvent capturer des données de capteur d'un environnement, pouvant comprendre un ou plusieurs objets séparés du premier véhicule (par exemple, un véhicule ou un piéton). Une image multicanal représentant une vue de haut en bas de l'objet et de l'environnement peut être générée sur la base des données de capteur, des données de carte et/ou des données d'action. Des données environnementales (étendues d'objet, vitesses, positions de voie, passages piétons, etc.) peuvent être codées dans l'image. Des données d'action peuvent représenter une voie cible, une trajectoire, etc. du premier véhicule. De multiples images peuvent être générées représentant l'environnement dans le temps et être introduites dans un système de prédiction configuré pour délivrer des probabilités de prédiction associées à des emplacements possibles de l'objet à l'avenir, qui peuvent être basées sur les actions du véhicule autonome.
PREDICTION ON TOP-DOWN SCENES BASED ON ACTION DATA
PRÉDICTION SUR DES SCÈNES DE HAUT EN BAS SUR LA BASE DE DONNÉES D'ACTION
2021-01-14
Patent
Elektronische Ressource
Englisch
IPC: | G05D SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES , Systeme zum Steuern oder Regeln nichtelektrischer veränderlicher Größen / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen |