Systems and methods for defect detection for vehicle operations, including collecting a multiple modality input data stream from a plurality of different types of vehicle sensors, extracting one or more features from the input data stream using a grid-based feature extractor, and retrieving spatial attributes of objects positioned in any of a plurality of cells of the grid-based feature extractor. One or more anomalies are detected based on residual scores generated by each of cross attention-based anomaly detection and time-series-based anomaly detection. One or more defects are identified based on a generated overall defect score determined by integrating the residual scores for the cross attention-based anomaly detection and the time-series based anomaly detection being above a predetermined defect score threshold. Operation of the vehicle is controlled based on the one or more defects identified.
L'invention concerne des systèmes et des procédés de détection de défauts pour des opérations de véhicules, consistant à collecter un flux de données d'entrée à modalités multiples en provenance de plusieurs types différents de capteurs de véhicules, à extraire une ou plusieurs caractéristiques du flux de données d'entrée à l'aide d'un extracteur de caractéristiques sur la base d'une grille, et à récupérer des attributs spatiaux d'objets positionnés dans l'une quelconque parmi une pluralité de cellules de l'extracteur de caractéristiques sur la base d'une grille. Une ou plusieurs anomalies sont détectées sur la base de scores résiduels générés par une détection d'anomalie basée sur l'attention croisée et une détection d'anomalie basée sur une série temporelle. Un ou plusieurs défauts sont identifiés sur la base d'un score de défaut global généré déterminé par l'intégration des scores résiduels pour la détection d'anomalie basée sur l'attention croisée et la détection d'anomalie basée sur une série temporelle se trouvant au-dessus d'un seuil de score de défaut prédéfini. L'opération du véhicule est commandée sur la base du défaut ou des défauts identifiés.
MULTI-MODALITY DATA ANALYSIS ENGINE FOR DEFECT DETECTION
MOTEUR D'ANALYSE DE DONNÉES MULTI-MODALITÉS POUR LA DÉTECTION DE DÉFAUTS
2023-05-19
Patent
Electronic Resource
English
European Patent Office | 2024
|