Disclosed herein are system, method, and device embodiments for determining the mental state of a driver using gaze tracking and object detection. Specifically, an Advanced Driver Assistance System may determine if the driver's gaze is associated with spatial locations of objects of interest in the surrounding environment. The surrounding environment may be represented with a 360-degree, three-dimensional model generated by the external-facing cameras and other sensors. The driver's gaze direction may be represented by a heatmap derived based on the driver's eye movements. Whether or not the driver's gaze is associated with a spatial location of an object may be used as evidence about the driver's mental state. The system may perform appropriate actions based on the mental state including generating alerts, engaging mechanical systems, and adjusting parameters in ancillary safety systems to increase or decrease tolerance. The mental state may be tracked throughout a driving session and stored in a driver profile.

    Sont divulgués ici un système, un procédé et des modes de réalisation de dispositif pour déterminer l'état mental d'un conducteur à l'aide d'un suivi du regard et d'une détection d'objet. Plus spécifiquement, un système avancé d'aide à la conduite peut déterminer si le regard du conducteur est associé à des emplacements spatiaux d'objets d'intérêt dans l'environnement ambiant. L'environnement ambiant peut être représenté avec un modèle tridimensionnel à 360 degrés généré par les caméras orientées vers l'extérieur et par d'autres capteurs. La direction du regard du conducteur peut être représentée par une carte thermique dérivée sur la base des mouvements oculaires du conducteur. Le fait que le regard du conducteur est associé ou non à un emplacement spatial d'un objet peut être utilisé comme preuve concernant l'état mental du conducteur. Le système peut effectuer des actions appropriées sur la base de l'état mental comprenant la génération d'alertes, l'activation de systèmes mécaniques et l'ajustement de paramètres dans des systèmes de sécurité auxiliaires pour augmenter ou diminuer la tolérance. L'état mental peut être suivi pendant toute une session de conduite et mémorisé dans un profil de conducteur.


    Access

    Download


    Export, share and cite



    Title :

    GAZE TRACKING AND OBJECT DETECTION IN ADVANCED DRIVER ASSISTANCE SYSTEMS


    Additional title:

    SUIVI DU REGARD ET DÉTECTION D'OBJET DANS DES SYSTÈMES AVANCÉS D'AIDE À LA CONDUITE


    Contributors:

    Publication date :

    2025-07-10


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    English


    Classification :

    IPC:    G06V / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G08B SIGNALLING OR CALLING SYSTEMS , Signalisier- oder Rufsysteme



    Gaze control devices for driver assistance systems

    Wagner, Philipp / Günthner, Wolfgang / Ulrich, Heinz | Tema Archive | 2006




    Advanced Driver Assistance Systems

    Hilgers, Michael / Achenbach, Wilfried | Springer Verlag | 2021


    Advanced Driver Assistance Systems

    Haas, Roland Erik / Bhattacharjee, Shambo / Möller, Dietmar P. F. | Springer Verlag | 2019