Systems and methods for generating performance metrics for autonomous vehicle systems are provided. The performance metrics include two complementary metrics that evaluate a machine-learning object prediction model relative to a number of potential trajectories of an autonomous vehicle. The performance metrics include an avoidance metric that quantifies a probability that a region occupied by a real-world or simulated object is reached by the autonomous vehicle, the region is not blocked by another object, and the region is not blocked by a prediction output by the machine-learning object prediction model. The performance metrics also include an availability metric that quantifies a probability that a simulated or real-world object is not located within a region, the region is not blocked by another simulated or real-world object, and the autonomous vehicle is unnecessarily blocked by the prediction output before the autonomous vehicle reaches the particular footprint.
La présente invention concerne des systèmes et des procédés pour générer des métriques de performances pour des systèmes de véhicule autonome. Les métriques de performances comprennent deux métriques complémentaires qui évaluent un modèle de prédiction d'objet d'apprentissage machine par rapport à un nombre de trajectoires potentielles d'un véhicule autonome. Les métriques de performances comprennent une métrique d'évitement qui quantifie une probabilité qu'une région occupée par un objet du monde réel ou simulé soit atteinte par le véhicule autonome, que la région ne soit pas bloquée par un autre objet, et que la région ne soit pas bloquée par une prédiction délivrée par le modèle de prédiction d'objet d'apprentissage machine. Les métriques de performances comprennent également une métrique de disponibilité qui quantifie une probabilité qu'un objet simulé ou du monde réel ne soit pas situé à l'intérieur d'une région, que la région ne soit pas bloquée par un autre objet simulé ou du monde réel, et que le véhicule autonome soit inutilement bloqué par la prédiction délivrée avant que le véhicule autonome n'atteigne l'empreinte particulière.
METRICS FOR EVALUATING AUTONOMOUS VEHICLE PERFORMANCE
MÉTRIQUES POUR ÉVALUER DES PERFORMANCES DE VÉHICULE AUTONOME
2022-04-07
Patent
Electronic Resource
English
IPC: | G05D SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES , Systeme zum Steuern oder Regeln nichtelektrischer veränderlicher Größen / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06K Erkennen von Daten , RECOGNITION OF DATA / G08G Anlagen zur Steuerung, Regelung oder Überwachung des Verkehrs , TRAFFIC CONTROL SYSTEMS |
Drive Scenario Generation Based on Metrics for Evaluating an Autonomous Vehicle Controller
British Library Conference Proceedings | 2018
|Drive Scenario Generation Based on Metrics for Evaluating an Autonomous Vehicle Controller
SAE Technical Papers | 2018
|