The present invention relates to a multi-sensor fusion-based driver monitoring apparatus and method, and the multi-sensor fusion-based driver monitoring apparatus according to the present invention monitors and outputs emotions and actions of a driver such that efficiency of an autonomous vehicle is increased, by comprising: an information collecting unit for collecting biometric information and front image information of the driver; a preprocessing unit for preprocessing the biometric information and the front image information; a shape vector generating unit that extracts respective feature vectors on the basis of the biometric information and front image information, which are preprocessed by the preprocessing unit, and generates a shape vector by combining the respective feature vectors; a determining unit for determining emotions and actions of the driver on the basis of the shape vector; and an output unit for outputting the emotions and actions of the driver.

    La présente invention concerne un appareil et un procédé de surveillance de conducteur basée sur une fusion à capteurs multiples, et l'appareil de surveillance de conducteur basée sur une fusion à capteurs multiples selon la présente invention surveille et délivre des émotions et des actions d'un conducteur de telle sorte que l'efficacité d'un véhicule autonome soit augmentée, en comprenant : une unité de collecte d'informations pour collecter des informations biométriques et des informations d'image avant du conducteur ; une unité de prétraitement pour prétraiter les informations biométriques et les informations d'image avant ; une unité de génération de vecteur de forme qui extrait des vecteurs de caractéristiques respectifs sur la base des informations biométriques et des informations d'image avant, qui sont prétraitées par l'unité de prétraitement, et génère un vecteur de forme par combinaison des vecteurs de caractéristiques respectifs ; une unité de détermination pour déterminer des émotions et des actions du conducteur sur la base du vecteur de forme ; et une unité de sortie pour délivrer les émotions et les actions du conducteur.

    본 발명은 다중 센서 융합기반 운전자 모니터링 장치 및 방법에 관한 것으로, 본 발명에 따른 다중 센서 융합기반 운전자 모니터링 장치는 운전자의 전면 영상 정보 및 생체 정보를 수집하는 정보 수집부; 상기 전면 영상 정보 및 생체 정보를 전처리하는 전처리부; 상기 전처리부에서 전처리된 상기 전면 영상 정보 및 생체 정보에 기초하여 각각의 특성 벡터를 추출하고, 상기 각각의 특성 벡터를 결합하여 형상 벡터를 생성하는 형상 벡터 생성부; 상기 형상 벡터에 기초하여 상기 운전자의 감정 및 행동을 판단하는 판단부; 및 상기 운전자의 감정 및 행동을 출력하는 출력부;를 포함하여 자율주행 차량의 효율성이 증대될 수 있도록 운전자의 감정 및 행동을 모니터링하여 출력한다.


    Access

    Download


    Export, share and cite



    Title :

    MULTI-SENSOR FUSION-BASED DRIVER MONITORING APPARATUS AND METHOD


    Additional title:

    APPAREIL ET PROCÉDÉ DE SURVEILLANCE DE CONDUCTEUR BASÉE SUR UNE FUSION À CAPTEURS MULTIPLES
    다중 센서 융합기반 운전자 모니터링 장치 및 방법


    Contributors:

    Publication date :

    2023-08-24


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    Korean


    Classification :

    IPC:    B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion



    MULTI SENSOR FUSION-BASED DRIVER MONITORING DEVICE AND METHOD

    DONG SEOG HAN / ALWIN POULOSE | European Patent Office | 2023

    Free access

    MULTI SENSOR FUSION-BASED DRIVER MONITORING DEVICE AND METHOD

    European Patent Office | 2023

    Free access

    Driver state monitoring method and system based on multi-sensor fusion

    ZHANG YINGWU / TAO XUEXIN / ZHANG WEI | European Patent Office | 2020

    Free access


    Multi-sensor driver drowsiness monitoring

    Boyraz, P / Acar, M / Kerr, D | SAGE Publications | 2008