Systems and methods for generating performance metrics for autonomous vehicle systems are provided. The performance metrics include two complementary metrics that evaluate a machine-learning object prediction model relative to a number of potential trajectories of an autonomous vehicle. The performance metrics include an avoidance metric that quantifies a probability that a region occupied by a real-world or simulated object is reached by the autonomous vehicle, the region is not blocked by another object, and the region is not blocked by a prediction output by the machine-learning object prediction model. The performance metrics also include an availability metric that quantifies a probability that a simulated or real-world object is not located within a region, the region is not blocked by another simulated or real-world object, and the autonomous vehicle is unnecessarily blocked by the prediction output before the autonomous vehicle reaches the particular footprint.

    La présente invention concerne des systèmes et des procédés pour générer des métriques de performances pour des systèmes de véhicule autonome. Les métriques de performances comprennent deux métriques complémentaires qui évaluent un modèle de prédiction d'objet d'apprentissage machine par rapport à un nombre de trajectoires potentielles d'un véhicule autonome. Les métriques de performances comprennent une métrique d'évitement qui quantifie une probabilité qu'une région occupée par un objet du monde réel ou simulé soit atteinte par le véhicule autonome, que la région ne soit pas bloquée par un autre objet, et que la région ne soit pas bloquée par une prédiction délivrée par le modèle de prédiction d'objet d'apprentissage machine. Les métriques de performances comprennent également une métrique de disponibilité qui quantifie une probabilité qu'un objet simulé ou du monde réel ne soit pas situé à l'intérieur d'une région, que la région ne soit pas bloquée par un autre objet simulé ou du monde réel, et que le véhicule autonome soit inutilement bloqué par la prédiction délivrée avant que le véhicule autonome n'atteigne l'empreinte particulière.


    Access

    Download


    Export, share and cite



    Title :

    METRICS FOR EVALUATING AUTONOMOUS VEHICLE PERFORMANCE


    Additional title:

    MÉTRIQUES POUR ÉVALUER DES PERFORMANCES DE VÉHICULE AUTONOME


    Contributors:

    Publication date :

    2022-04-07


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    English


    Classification :

    IPC:    G05D SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES , Systeme zum Steuern oder Regeln nichtelektrischer veränderlicher Größen / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06K Erkennen von Daten , RECOGNITION OF DATA / G08G Anlagen zur Steuerung, Regelung oder Überwachung des Verkehrs , TRAFFIC CONTROL SYSTEMS



    Metrics for Evaluating Autonomous Vehicle Performance

    SHRIDHAR SKANDA / MA YUHANG / STENTZ TARA LYNN et al. | European Patent Office | 2022

    Free access

    Drive Scenario Generation Based on Metrics for Evaluating an Autonomous Vehicle Controller

    Tamilarasan, Santhosh / Jung, Daniel / Guvenc, Levent | British Library Conference Proceedings | 2018


    Drive Scenario Generation Based on Metrics for Evaluating an Autonomous Vehicle Controller

    Jung, Daniel / Guvenc, Levent / Tamilarasan, Santhosh | SAE Technical Papers | 2018


    Evaluating algorithm performance metrics tailored for prognostics

    Saxena, Abhinav / Celaya, Jose / Saha, Bhaskar et al. | IEEE | 2009


    Performance-based metrics for evaluating system quality

    SCHLEEDE PETER SCOTT | European Patent Office | 2024

    Free access