The present invention relates to an integrated driver status determination and notification service system for diagnosing driver's drowsiness and carelessness based on a driver's image, biometric information, and vehicle operation information. The integrated driver status determination and notification service system of the present invention comprises: a driver status information collection unit; an information extraction unit; a driver drowsiness integrated judgment unit; and a notification output unit.
본 발명은 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에 관한 것으로서, 보다 구체적으로는 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템으로서, 운전자의 얼굴 영상과, 운전자의 핸들 파지 정도(세기)와, 운전자의 ECG 정보, 및 차량의 운행정보를 획득하는 운전자 상태정보 수집부; 상기 운전자 상태정보 수집부로부터 획득되는 운전자의 얼굴 영상으로부터 운전자 졸음 정보와 운전자 부주의 정보를 추출하고, 핸들 파지 정도에 따른 핸들 파지 정보와 ECG 정보를 정규화 하여 추출하며, 차량의 운행정보를 통한 차량의 횡방향의 변화 정보와 도로 방향 기준 차량의 위치 정보를 추출하는 정보 추출부; 상기 정보 추출부의 추출된 시계열 데이터 변화의 정보들을 미리 설정된 RNN(LSTM) 알고리즘에 적용하여 운전자의 졸음 여부를 통합 판단하는 운전자 졸음 통합 판단부; 및 상기 운전자 졸음 통합 판단부의 운전자 졸음 여부 판단에 기초하여 운전자 졸음 및 부주의를 환기시키기 위한 CID(Caller Identification) 알림 출력부를 포함하는 것을 그 구성상의 특징으로 한다. 본 발명에서 제안하고 있는 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에 따르면, 운전자의 얼굴 영상으로부터 추출한 운전자 졸음 정보 및 운전자 부주의 정보와, 핸들 파지 정보 및 ECG 정보와, 차량의 운행정보를 통합하여 미리 설정된 RNN(LSTM) 알고리즘에 적용하여 운전자의 졸음 여부를 통합 판단할 수 있도록 구성함으로써, 기존 영상 위주 또는 센서 위주의 데이터 활용 방식에 비해 운전자 졸음 판단의 정확도를 높일 수 있고, 그에 따른 운전자 졸음 예측 진단의 향상을 통한 졸음운전의 예방이 가능하도록 할 수 있다. 또한, 본 발명의 운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템에 따르면, 미리 설정된 RNN(LSTM) 알고리즘을 통해 운전자의 눈 깜박임 데이터, ECG 데이터, 차량의 운행정보 데이터를 맵핑하여 시간 순서로 시퀀스 처리하여 운전자 졸음 여부를 정확도 높게 통합 판단하고, 졸음으로 판단 시 CID 알림 출력부를 통한 시각적 및 청각적 경고 알림과, 햅틱을 이용한 촉각적 진동 알림 등으로 운전자의 졸음 또는 부주의를 신속하게 환기시키고, 그에 따른 안전운행이 빠르게 유도될 수 있도록 할 수 있다.
A INTEGRATED DRIVER STATUS DETERMINATION AND NOTIFICATION SERVICE SYSTEM FOR DRIVER DROWSINESS AND CARELESSNESS DIAGNOSIS BASED ON DRIVER IMAGE AND BIO-METRIC AND VEHICLE DRIVING INFORMATION
운전자 영상과 생체 및 차량 운행정보를 기반으로 운전자 졸음 및 부주의 진단을 위한 운전자 상태 통합 판단 및 알림 서비스 시스템
2021-07-08
Patent
Electronic Resource
Korean
IPC: | B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / B60K Anordnung oder Einbau von Antriebseinheiten oder von Kraft- bzw. Drehmomentübertragungen in Fahrzeugen , ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES / G08B SIGNALLING OR CALLING SYSTEMS , Signalisier- oder Rufsysteme |
Springer Verlag | 2017
|IEEE | 2020
|