A temporal prediction model (222) for semantic intent understanding is described. An agent (202) (e.g. a moving object such as a pedestrian, an animal, a cyclist, a vehicle, etc.) in an environment can be detected in sensor data collected from sensors on a vehicle. The sensors can include light detection and ranging (LIDAR) sensors, radio detection and ranging (RADAR) sensors, ultrasonic transducers, sound navigation and ranging (SONAR) sensors, location sensors (e.g., GPS, compass, etc.), inertial sensors (e.g., inertial measurement units, accelerometers, magnetometers, gyroscopes, etc.), cameras, wheel encoders, microphones, environment sensors. Computing device(s) associated with the vehicle determine, based partly on the sensor data, attribute(s) of the agent (e.g., classification, position, velocity, etc.), and generate, based partly on the attribute(s) and a temporal prediction model (222), semantic intent(s) of the agent (e.g., crossing a road, staying straight, etc.), which correspond to candidate trajectory(s) (238) of the agent. The candidate trajectory(s) (238) are associated with weight(s) representing likelihood(s) that the agent will perform respective intent(s). The computing device(s) uses one (or more) of the candidate trajectory(s) (238) to determine a vehicle trajectory along which a vehicle is to drive.
L'invention concerne un modèle de prédiction temporelle (222) permettant la compréhension d'une intention sémantique. Un agent (202) (par exemple un objet mobile tel qu'un piéton, un animal, un cycliste, un véhicule, etc.) dans un environnement peut être détecté dans des données de capteur collectées à partir de capteurs sur un véhicule. Les capteurs peuvent comprendre des capteurs de détection et télémétrie par ondes lumineuses (LIDAR), des capteurs de détection radio et de télémétrie (RADAR), des transducteurs ultrasonores, des capteurs de navigation et de télémétrie sonore (SONAR), des capteurs de position (par exemple GPS, boussole, etc.), des capteurs inertiels (par exemple des unités de mesure inertielle, des accéléromètres, des magnétomètres, des gyroscopes, etc.), des caméras, des codeurs rotatifs, des microphones, des capteurs d'environnement. Le ou les dispositifs informatiques associés au véhicule déterminent, en fonction en partie des données de capteur, un ou plusieurs attributs de l'agent (par exemple, la classification, la position, la vitesse, etc.), et génèrent, en fonction en partie desdits attributs et d'un modèle de prédiction temporelle (222), une ou plusieurs intentions sémantiques de l'agent (par exemple, traverser une route, se maintenir en ligne droite, etc.), qui correspondent à une ou plusieurs trajectoires candidates (238) de l'agent. Lesdites trajectoires candidates (238) sont associées à une ou plusieurs pondérations représentant une ou plusieurs probabilités que l'agent effectue une ou plusieurs intentions respectives. Lesdits dispositifs informatiques utilisent au moins une trajectoire candidate parmi lesdites trajectoires candidates (238) pour déterminer une trajectoire de véhicule le long de laquelle un véhicule doit être conduit.
TEMPORAL PREDICTION MODEL FOR SEMANTIC INTENT UNDERSTANDING
MODÈLE DE PRÉDICTION TEMPORELLE PERMETTANT LA COMPRÉHENSION D'UNE INTENTION SÉMANTIQUE
2019-10-03
Patent
Electronic Resource
English
Temporal prediction model for semantic intent understanding
European Patent Office | 2020
|