The present invention relates to a sensor fusion system for the object recognition of an autonomous driving system, which comprises: a driving environment detection unit which detects driving environment information; a LIDAR which acquires the front space information during driving; a far-infrared camera which acquires a far-infrared image of the front space during driving; an infrared light object detection unit which detects an infrared light object in a far-infrared image filmed by the far-infrared camera; an image object detection unit which uses the infrared light object detected by means of the infrared light object detection unit and a far-infrared original image acquired by means of the far-infrared camera to detect an object from the far-infrared original image; a space information mapping unit which performs space information mapping by using the front space information acquired by means of the LIDAR during driving and the object detected by means of the infrared light object detection unit; a structure data detection unit which deduces the structure data of the object by using the object detected by the image object detection unit, the space information based on the acquired image, and the detected infrared light object; and a recognition determination unit which determines object recognition during nighttime or bad weather by using the structure data deduced by means of the structure data detection unit. Therefore, a technological gap among sensors may be narrowed.
본 발명은 자율주행시스템의 객체인지를 위한 센서융합 시스템에 관한 것이다. 본 발명은 주행 환경정보를 검출하는 주행 환경 검출부; 주행 중 전방 공간정보를 획득하는 라이다; 주행 중 전방 공간의 원적외선 이미지를 획득하는 원적외선 카메라; 원적외선 카메라를 통해 촬영된 원적외선 이미지에서 적외선 객체를 검출하는 적외선 객체 검출부; 적외선 객체 검출부를 통해 검출한 상기 적외선 객체와 원적외선 카메라를 통해 획득한 원적외선 원본 이미지를 이용하여 원적외선 원본 이미지에서 객체를 검출하는 이미지 객체 검출부; 주행 중 라이더를 통해 획득한 전방 공간정보와 적외선 객체 검출부를 통해 검출한 객체를 이용하여 공간정보 맵핑을 수행하는 공간정보 맵핑부; 이미지 객체 검출부로부터 검출된 객체와 획득한 이미지 기반 공간정보와 검출된 적외선 객체를 이용하여 객체의 구조 데이터를 도출하는 구조 데이터 검출부; 및 구조 데이터 검출부를 통해 도출된 구조 데이터를 이용하여 야간 또는 악천후 상태에서의 객체 인지를 판단하는 인지 판단부를 포함한다.
Sensor fusion system for object recognition of autonomous driving system
자율주행시스템의 객체인지를 위한 센서융합 시스템
2023-04-24
Patent
Electronic Resource
Korean
IPC: | B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion |
European Patent Office | 2023
|European Patent Office | 2024
Multi-sensor fusion for autonomous driving
TIBKAT | 2023
|Object recognition method of autonomous driving device, and autonomous driving device
European Patent Office | 2024
|