Disclosed are systems and methods for generating labeled audio data and conducting onboard verification on the labeled audio data by using an autonomous driving vehicle (ADV) while the ADV is being operated in a driving environment. The method includes a step of recording a sound emitted by an object in the driving environment of the ADV, and converting the recorded sound into audio samples. The method also includes a step of labeling the audio samples, and refining the labeled audio samples to generate refined labeled audio data. The refined labeled audio data is used to subsequently train a machine learning algorithm to recognize a sound source during the autonomous driving of the ADV. The method also includes a step of generating a performance profile of the refined labeled audio data at least based on the audio samples, a position of the object, and a relative direction of the object. The position of the object and the relative direction of the object are determined by a recognition system of the ADV.

    ADV(autonomous driving vehicle)가 주행 환경 내에서 동작하고 있는 동안 ADV를 이용하여 라벨링된 오디오 데이터를 생성하는 그리고 라벨링된 오디오 데이터의 온보드 검증을 위한 시스템들 및 방법들이 개시된다. 이러한 방법은 ADV의 주행 환경 내의 물체에 의해 방출되는 사운드를 기록하고, 기록된 사운드를 오디오 샘플들로 변환하는 단계를 포함한다. 이러한 방법은 오디오 샘플들을 라벨링하고, 라벨링된 오디오 샘플들을 정제하여 정제된 라벨링된 오디오 데이터를 생성하는 단계를 추가로 포함한다. 정제된 라벨링된 오디오 데이터는 ADV의 자율 주행 동안 사운드 소스를 인식하기 위해 머신 학습 알고리즘을 후속하여 트레이닝하는데 이용된다. 이러한 방법은 오디오 샘플들, 물체의 위치, 및 물체의 상대적 방향에 적어도 기초하여 정제된 라벨링된 오디오 데이터의 성능 프로파일을 생성하는 단계를 추가로 포함한다. 물체의 위치 및 물체의 상대적 방향은 ADV의 인지 시스템에 의해 결정된다.


    Access

    Download


    Export, share and cite



    Title :

    AUDIO LOGGING FOR MODEL TRAINING AND ONBOARD VALIDATION UTILIZING AUTONOMOUS DRIVING VEHICLE


    Additional title:

    자율 주행 차량을 이용하는 모델 트레이닝 및 온보드 검증을 위한 오디오 로깅


    Contributors:
    LUO QI (author) / XU KECHENG (author) / SUN HONGYI (author) / REYNOLDS WESLEY (author) / LIN ZEJUN (author) / WANG WEI (author) / CAO YU (author) / LIN WEIMAN (author)

    Publication date :

    2022-02-04


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    Korean


    Classification :

    IPC:    B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen




    AUDIO LOGGING FOR MODEL TRAINING AND ONBOARD VALIDATION UTILIZING AUTONOMOUS DRIVING VEHICLE

    LUO QI / XU KECHENG / SUN HONGYI et al. | European Patent Office | 2022

    Free access

    AUDIO LOGGING FOR MODEL TRAINING AND ONBOARD VALIDATION UTILIZING AUTONOMOUS DRIVING VEHICLE

    LUO QI / XU KECHENG / SUN HONGYI et al. | European Patent Office | 2022

    Free access

    AUDIO LOGGING FOR MODEL TRAINING AND ONBOARD VALIDATION UTILIZING AUTONOMOUS DRIVING VEHICLE

    LUO QI / XU KECHENG / SUN HONGYI et al. | European Patent Office | 2024

    Free access

    Audio logging for model training and onboard validation utilizing autonomous driving vehicle

    LUO QI / XU KECHENG / SUN HONGYI et al. | European Patent Office | 2023

    Free access