주행 환경에 적응되도록 자율주행차량의 딥러닝 기반의 객체 검출기를 업데이트하기 위한 학습 방법에 있어서, (a) 제1 주행 환경에 대응되며 제1 오브젝트 라벨 및 제1 세그멘테이션 라벨을 포함하는 제1 학습 이미지들 내지 제n 주행 환경에 대응되며 제n 오브젝트 라벨 및 제n 세그멘테이션 라벨을 포함하는 제n 학습 이미지들 중 적어도 하나의 제k 학습 이미지 - 상기 k는 1이상 n이하의 정수임 - 가 획득되면, 학습 장치가, (i) 상기 제k 학습 이미지를 상기 제1 주행 환경에 대응되는 제1 객체 검출기 내지 상기 제n 주행 환경에 대응되는 제n 객체 검출기 중 제k 주행 환경에 대응되는 제k 환경 특정 객체 검출기에 입력하여 상기 제k 환경 특정 객체 검출기로 하여금, (i-1) 상기 제k 환경 특정 객체 검출기의 적어도 하나의 제k 환경 특정 컨볼루션 레이어를 통해 상기 제k 학습 이미지에 적어도 한번의 컨볼루션 연산을 적용하여 제k 환경 특정 피처맵을 생성하도록 하며, (i-2) 상기 제k 환경 특정 객체 검출기의 제k 환경 특정 풀링 레이어를 통해 상기 제k 환경 특정 피처맵에 있는 적어도 하나의 객체를 포함하는 것으로 예측된 적어도 하나의 영역에 대응하는 제k 환경 특정 ROI 정보를 이용하여 상기 제k 환경 특정 피처맵에 적어도 한번의 ROI 풀링 연산을 적용함으로써 제k 환경 특정 풀링 피처맵을 생성하도록 하고, (i-3) 상기 제k 환경 특정 객체 검출기의 제k 환경 특정 FC 레이어를 통해 상기 제k 환경 특정 풀링 피처맵에 적어도 한번의 풀리 커넥티드(fully connected) 연산을 적용하여 제k 환경 특정 오브젝트 디텍션 정보를 생성하도록 하며, (ii) 상기 제k 환경 특정 피처맵을 상기 제1 객체 검출기에 대응되는 제1 랭크 네트워크 내지 상기 제n 객체 검출기에 대응되는 제n 랭크 네트워크 중 상기 제k 환경 특정 객체 검출기에 대응되는 제k 환경 특정 랭크 네트워크에 입력하여 상기 제k 환경 특정 랭크 네트워크로 하여금, (ii-1) 상기 제k 환경 특정 랭크 네트워크의 적어도 하나의 제k 환경 특정 디컨볼루션 레이어를 통해 상기 제k 환경 특정 피처맵에 적어도 한번의 디컨볼루션 연산을 적용하여 제k 환경 특정 세그멘테이션 맵을 생성하도록 하며, (ii-2) 상기 제k 환경 특정 랭크 네트워크의 제k 환경 특정 디스크리미네이터를 통해, 상기 제k 학습 이미지 상의 메인 영역 및 이에 대응되는 상기 제k 환경 특정 세그멘테이션 맵 상의 제1 서브 영역이 크롭되어 컨캐터네이트됨으로써 생성되는 제k 환경 특정 랭크 맵이 리얼(real)인지 페이크(fake)인지에 관한 정보를 나타내는 제k 환경 특정 랭크 스코어를 생성하도록 하는 단계; 및 (b) 상기 학습 장치가, (i) 상기 제k 환경 특정 오브젝트 디텍션 정보와 이에 대응되는 제k 환경 특정 오브젝트 라벨이 참조되어 생성된 제k 환경 특정 오브젝트 디텍션 로스를 최소화하도록 상기 제k 환경 특정 객체 검출기를 학습시키며, 상기 제k 환경 특정 랭크 스코어를 최대화하도록 상기 제k 환경 특정 디컨볼루션 레이어와 상기 제k 환경 특정 컨볼루션 레이어를 학습시키는 프로세스, 및 (ii) 상기 제k 학습 이미지 상의 상기 메인 영역 및 이에 대응되는 제k 환경 특정 세그멘테이션 라벨 상의 제2 서브 영역이 크롭되어 컨캐터네이트됨으로써 생성되는 제k 환경 특정 라벨 랭크 맵에 대한 제k 환경 특정 라벨 랭크 스코어 - 상기 제k 환경 특정 라벨 랭크 스코어는 상기 제k 환경 특정 디스크리미네이터를 통해 생성됨 - 를 최대화하고, 상기 제k 환경 특정 랭크 스코어를 최소화하도록 상기 제k 환경 특정 디스크리미네이터를 학습시키는 프로세스를 수행하는 단계;를 포함하는 학습 방법 및 이를 이용한 학습 장치, 업데이트 방법 및 업데이트 장치가 개시된다.

    A method for updating an object detector of an autonomous vehicle to adapt the object detector to a driving circumstance is provided. The method includes steps of: a learning device (a) (i) inputting a training image, corresponding to a driving circumstance, into a circumstance-specific object detector to apply (i-1) convolution to the training image to generate a circumstance-specific feature map, (i-2) ROI pooling to the circumstance-specific feature map to generate a circumstance-specific pooled feature map, and (i-3) fully-connected operation to the circumstance-specific pooled feature map to generate circumstance-specific object detection information and (ii) inputting the circumstance-specific feature map into a circumstance-specific ranking network to (ii-1) apply deconvolution to the circumstance-specific feature map and generate a circumstance-specific segmentation map and (ii-2) generate a circumstance-specific rank score via a circumstance-specific discriminator; and (b) training the circumstance-specific object detector, the circumstance-specific deconvolutional layer, the circumstance-specific convolutional layer, and the circumstance-specific discriminator.


    Zugriff

    Download


    Exportieren, teilen und zitieren



    Titel :

    주행 환경에 적응되도록 자율주행차량의 딥러닝 기반의 객체 검출기를 업데이트하기 위한 학습 방법 및 학습 장치, 그리고 이를 이용한 업데이트 방법 및 업데이트 장치


    Beteiligte:
    RYU WOO JU (Autor:in) / JE HONG MO (Autor:in) / KANG BONG NAM (Autor:in) / KIM YONG JOONG (Autor:in)

    Erscheinungsdatum :

    2022-01-10


    Medientyp :

    Patent


    Format :

    Elektronische Ressource


    Sprache :

    Koreanisch


    Klassifikation :

    IPC:    G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G05D SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES , Systeme zum Steuern oder Regeln nichtelektrischer veränderlicher Größen / G06V



    컨테이너 기반의 차량 시스템에서 심리스 컨테이너 업데이트

    LEE CHULHEE / LEE EUNKOO / KIM HYUNKYU et al. | Europäisches Patentamt | 2022

    Freier Zugriff

    V2X 애플리케이션 서버에서의 원격 운전 트리거 및 업데이트 절차

    EL ESSAILI ALI / CONDOLUCI MASSIMO / ZANG YUNPENG | Europäisches Patentamt | 2023

    Freier Zugriff


    디지털 맵의 디지털 모델을 생성 및/또는 업데이트하기 위한 시스템

    GONSA OSVALDO / KOERNER RENE ALEXANDER | Europäisches Patentamt | 2020

    Freier Zugriff