A computer system for testing the performance of a stack for planning ego vehicle trajectories in real or simulated driving scenarios, the computer system comprising: at least a first input configured to receive (i) scenario ground truth and (ii) internal state data of the stack, the scenario ground truth and internal state data generated using the stack to control an ego agent responsive to at least one other agent in the simulated driving scenario; at least a second input configured to receive a defined operational design domain (ODD); a test oracle configured to apply one or more driving rules to the scenario ground truth for evaluating the performance of the stack in the scenario, and provide an output for each of the driving rules indicating whether that driving rule has been complied with; wherein the one or more driving rules include at least one ODD-based response rule, the test oracle configured to apply the ODD-based response rule by: processing the scenario ground truth over multiple time steps, to determine whether or not the scenario is within the defined ODD at each time step, and thereby detecting a change in the scenario that takes the scenario outside of the defined ODD, and processing the internal state data, to determine whether a required state change occurred within the stack, within a required time interval, the output for the at least one ODD-based response rule indicating whether or not the required state change occurred within the required time interval.
Un système informatique pour tester les performances d'une pile pour planifier des trajectoires du véhicule en question dans des scénarios de conduite réelle ou simulée, le système informatique comprenant : au moins une première entrée conçue pour recevoir (i) une vérité terrain de scénario et (ii) des données d'état interne de la pile, la vérité terrain de scénario et les données d'état interne générées à l'aide de la pile pour commander un agent en question en réponse à au moins un autre agent dans le scénario de conduite simulée ; au moins une deuxième entrée conçue pour recevoir un domaine de conception opérationnel défini (ODD) ; un oracle de test conçu pour appliquer une ou plusieurs règles de conduite à la vérité terrain de scénario pour évaluer les performances de la pile dans le scénario, et fournir une sortie pour chacune des règles de conduite indiquant si cette règle de conduite a été respectée ; la ou les règles de conduite comprenant au moins une règle de réponse fondée sur l'ODD, l'oracle de test étant conçu pour appliquer la règle de réponse reposant sur l'ODD par : le traitement de la vérité terrain de scénario sur de multiples étapes temporelles, pour déterminer si oui ou non le scénario se trouve à l'intérieur de l'ODD défini à chaque étape de temps, et ainsi détecter un changement dans le scénario qui prend le scénario à l'extérieur de l'ODD défini, et traiter les données d'état interne, pour déterminer si un changement d'état requis s'est produit à l'intérieur de la pile, dans un intervalle de temps requis, la sortie pour la ou les règles de réponse fondées sur l'ODD indiquant si oui ou non le changement d'état requis s'est produit dans l'intervalle de temps requis.
PERFORMANCE TESTING FOR AUTONOMOUS VEHICLES
TEST DE PERFORMANCES POUR VÉHICULES AUTONOMES
2022-09-01
Patent
Electronic Resource
English