Disclosed herein are system, method, and device embodiments for determining the mental state of a driver using gaze tracking and object detection. Specifically, an Advanced Driver Assistance System may determine if the driver's gaze is associated with spatial locations of objects of interest in the surrounding environment. The surrounding environment may be represented with a 360-degree, three-dimensional model generated by the external-facing cameras and other sensors. The driver's gaze direction may be represented by a heatmap derived based on the driver's eye movements. Whether or not the driver's gaze is associated with a spatial location of an object may be used as evidence about the driver's mental state. The system may perform appropriate actions based on the mental state including generating alerts, engaging mechanical systems, and adjusting parameters in ancillary safety systems to increase or decrease tolerance. The mental state may be tracked throughout a driving session and stored in a driver profile.
Sont divulgués ici un système, un procédé et des modes de réalisation de dispositif pour déterminer l'état mental d'un conducteur à l'aide d'un suivi du regard et d'une détection d'objet. Plus spécifiquement, un système avancé d'aide à la conduite peut déterminer si le regard du conducteur est associé à des emplacements spatiaux d'objets d'intérêt dans l'environnement ambiant. L'environnement ambiant peut être représenté avec un modèle tridimensionnel à 360 degrés généré par les caméras orientées vers l'extérieur et par d'autres capteurs. La direction du regard du conducteur peut être représentée par une carte thermique dérivée sur la base des mouvements oculaires du conducteur. Le fait que le regard du conducteur est associé ou non à un emplacement spatial d'un objet peut être utilisé comme preuve concernant l'état mental du conducteur. Le système peut effectuer des actions appropriées sur la base de l'état mental comprenant la génération d'alertes, l'activation de systèmes mécaniques et l'ajustement de paramètres dans des systèmes de sécurité auxiliaires pour augmenter ou diminuer la tolérance. L'état mental peut être suivi pendant toute une session de conduite et mémorisé dans un profil de conducteur.
GAZE TRACKING AND OBJECT DETECTION IN ADVANCED DRIVER ASSISTANCE SYSTEMS
SUIVI DU REGARD ET DÉTECTION D'OBJET DANS DES SYSTÈMES AVANCÉS D'AIDE À LA CONDUITE
2025-07-10
Patent
Electronic Resource
English
Gaze control devices for driver assistance systems
Tema Archive | 2006
|A time-triggered object tracking subsystem for advanced driver assistance systems
Tema Archive | 2011
|Advanced Driver Assistance Systems
Springer Verlag | 2021
|Advanced Driver Assistance Systems
Springer Verlag | 2019
|