Techniques for determining predictions on a top-down representation of an environment based on object movement are discussed herein. Sensors of a first vehicle (such as an autonomous vehicle) may capture sensor data of an environment, which may include object(s) separate from the first vehicle (e.g., a vehicle, a pedestrian, a bicycle). A multi-channel image representing a top-down view of the object(s) and the environment may be generated based in part on the sensor data. Environmental data (object extents, velocities, lane positions, crosswalks, etc.) may also be encoded in the image. Multiple images may be generated representing the environment over time and input into a prediction system configured to output a trajectory template (e.g., general intent for future movement) and a predicted trajectory (e.g., more accurate predicted movement) associated with each object. The prediction system may include a machine learned model configured to output the trajectory template(s) and the predicted trajector(ies).
L'invention concerne des techniques permettant de déterminer des prédictions sur une représentation de haut en bas d'un environnement sur la base du mouvement d'un objet. Des capteurs d'un premier véhicule (tel qu'un véhicule autonome) peuvent capturer des données de capteur d'un environnement, pouvant comprendre un ou plusieurs objets séparés du premier véhicule (parexemple un véhicule, un piéton, une bicyclette). Une image multi-canal représentant une vue de haut en bas du ou des objets et de l'environnement peut être générée sur la base, en partie, des données de capteur. Des données environnementales (étendues d'objet, vitesses, positions de voie, passages piétons, etc.) peuvent être codées dans l'image. De multiples images, représentant l'environnement dans le temps, peuvent être générées et introduites dans un système de prédiction conçu pour produire un modèle de trajectoire (parexemple une intention générale de mouvement futur) et une trajectoire prédite (parexemple un mouvement prédit plus précis) associés à chaque objet. Le système de prédiction peut comprendre un modèle obtenu par apprentissage machine conçu pour produire le ou les modèles de trajectoire et la ou les trajectoires prédites.
PREDICTION ON TOP-DOWN SCENES BASED ON OBJECT MOTION
PRÉDICTION CONCERNANT DES SCÈNES DE HAUT EN BAS SUR LA BASE DU MOUVEMENT D'UN OBJET
2021-06-24
Patent
Electronic Resource
English
IPC: | B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen |