An objective of the present invention is to correct errors between image data of a camera and lidar data of lidar by using machine learning. An apparatus for assisting a vehicle in driving comprises: a camera installed on a vehicle to have a front view of the vehicle and acquire image data; lidar installed on the vehicle to have an omnidirectional view of the vehicle and acquire lidar data; and a control unit processing at least one between the image data and the lidar data. The control unit includes a calibration matrix for correcting the image data and the lidar data, acquires a feature map of the image data and a feature map of the lidar data by using machine learning, corrects the calibration matrix based on the difference between the feature map of the image data and the feature map of the lidar data, and uses the corrected calibration matrix to correct the image data and the lidar data.

    차량의 주행을 보조하는 장치는, 차량에 설치되어, 상기 차량의 전방 시야를 가지며, 영상 데이터를 획득하는 카메라; 상기 차량에 설치되어, 상기 차량의 전방향 시야를 가지며, 라이다 데이터를 획득하는 라이다; 및 상기 영상 데이터 및 상기 라이다 데이터 중 적어도 하나를 처리하는 제어부를 포함할 수 있다. 상기 제어부는, 상기 영상 데이터 및 상기 라이다 데이터를 보정하기 위한 캘리브레이션 매트릭스를 포함하고, 기계 학습을 이용하여 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵을 획득하고, 상기 영상 데이터의 특징 맵과 상기 라이다 데이터의 특징 맵 사이의 차이에 기초하여 상기 캘리브레이션 매트릭스를 보정하고, 상기 보정된 캘리브레이션 매트릭스를 이용하여 상기 영상 데이터 및 상기 라이다 데이터를 보정할 수 있다.


    Access

    Download


    Export, share and cite



    Title :

    APPARATUS FOR ASSISTING DRIVING VEHICLE AND METHOD THEREOF


    Additional title:

    차량의 주행을 보조하는 장치 및 그 방법


    Contributors:

    Publication date :

    2022-10-28


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    Korean


    Classification :

    IPC:    B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / B60R Fahrzeuge, Fahrzeugausstattung oder Fahrzeugteile, soweit nicht anderweitig vorgesehen , VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR / G01S RADIO DIRECTION-FINDING , Funkpeilung / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / G06T Bilddatenverarbeitung oder Bilddatenerzeugung allgemein , IMAGE DATA PROCESSING OR GENERATION, IN GENERAL / H04N PICTORIAL COMMUNICATION, e.g. TELEVISION , Bildübertragung, z.B. Fernsehen



    APPARATUS FOR ASSISTING DRIVING VEHICLE AND METHOD THEREOF

    LEE SANG YEOB | European Patent Office | 2022

    Free access

    APPARATUS FOR ASSISTING DRIVING VEHICLE AND METHOD THEREOF

    YEONGHO SON | European Patent Office | 2022

    Free access

    APPARATUS FOR ASSISTING DRIVING VEHICLE AND METHOD THEREOF

    European Patent Office | 2024

    Free access

    Apparatus for assisting vehicle driving and method thereof

    BAEK HYUN-WOO | European Patent Office | 2023

    Free access

    APPARATUS FOR ASSISTING DRIVING AND ASSISTING METHOD THEREOF

    BONILL KOO | European Patent Office | 2023

    Free access