본 발명은 차량의 카메라를 통해 획득한 현재 시점 및 현재 시점 이전 복수 시점의 영상 이미지 정보를 각각 의미론적 분할(semantic segmentation) 이미지로 추출하는 단계, 상기 현재 시점 및 현재 시점 이전 복수 시점의 영상 이미지 각각에 존재하는 특정 객체(object)의 속성 및 위치 정보를 이미지화 시킨 마스크(mask) 이미지를 추출하는 단계, 상기 현재 시점 및 현재 시점 이전 복수 시점의 영상 이미지, 복수 개의 상기 의미론적 분할 이미지, 복수 개의 상기 마스크 이미지 및 상기 차량의 움직임 상황(ego-motion) 정보를 입력 받아, 딥 러닝(Deep Learning)을 통해 상기 객체의 미리 시점에서의 예측 위치에 대한 복수 개의 가설(hypotheses)을 도출하는 객체 위치 분포 예측 단계 및 복수 개의 상기 가설을 가우시안(Gaussian) 혼합 확률 분포로 산출하는 단계를 포함하는 자율주행 차량에서 객체의 미래 시점 위치 예측 방법.으로서, 본 발명에 의하면, 미래 예측을 위하여 차량에서 취득 가능한 다양한 정보(멀티모달)를 합성하여 미래 예측을 수행하여, 각 모달의 미래 예측에서는 현재 사건을 판단하고 판단된 현재 사건을 기준으로 미래 움직임을 예측함으로써, 최종적으로 여러 모달들의 미래 예측을 융합하여 미래 예측을 수행할 수 있다.

    In a method of predicting a position of an object at a future time point for a vehicle, video image information at a current time point and at a plurality of time points before the current time point acquired through a camera of the vehicle may be extracted as semantic segmentation image. A mask image imaging an attribute and position information of an object present in each of the video images may be extracted. A position distribution of the object may be predicted by deriving a plurality of hypotheses for a position of the object at a future time point through deep learning by receiving video images at the current time point and the time points before the current time point, a plurality of semantic segmentation images, a plurality of mask images, and ego-motion information of the vehicle, and calculating the plurality of hypotheses as a Gaussian mixture probability distribution.


    Access

    Download


    Export, share and cite



    Title :

    .METHOD FOR PREDICTING FUTURE POSITION OF AN OBJECT OF AN AUTONOMOUS VEHICLE


    Additional title:

    자율주행 차량에서 객체의 미래 시점 위치 예측 방법.


    Contributors:

    Publication date :

    2024-04-26


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    Korean


    Classification :

    IPC:    G06T Bilddatenverarbeitung oder Bilddatenerzeugung allgemein , IMAGE DATA PROCESSING OR GENERATION, IN GENERAL / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G01S RADIO DIRECTION-FINDING , Funkpeilung / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen



    Method for predicting position of object at future point in time in vehicle

    PARK HYUNG-WOOK / SHIN JANG-HO / ZHAO YING et al. | European Patent Office | 2024

    Free access

    Autonomous vehicle position providing device and autonomous vehicle position providing method

    CHOI JAE-KYUNG / JUNG YONG-SEOK | European Patent Office | 2022

    Free access

    Autonomous vehicle, and object recognizing method in autonomous vehicle

    IIDA MASAOMI | European Patent Office | 2017

    Free access

    AUTONOMOUS VEHICLE OBJECT DETECTION

    MILLER KENNETH JAMES / MARTIN DOUGLAS RAYMOND / DUDAR AED M et al. | European Patent Office | 2018

    Free access