To provide a multi-view deep neural network (DNN) for LiDAR perception.SOLUTION: A deep neural network (DNN) is used to detect objects from sensor data of a three-dimensional (3D) environment. For example, a multi-view perception DNN includes multiple constituent DNNs or stages chained together that sequentially process different views of the 3D environment. An example DNN includes a first stage that performs class segmentation in a first view (perspective view) and a second stage that performs class segmentation and/or regresses instance geometry in a second view. The DNN outputs are processed to generate 2D/3D bounding boxes and class labels for detected objects in the 3D environment. The techniques described herein are used to detect and classify animate objects and/or parts of an environment, and the detection and classification are provided to an autonomous vehicle drive stack to enable safe planning and control of the autonomous vehicle.SELECTED DRAWING: Figure 4

    【課題】LiDAR知覚のマルチビュー・ディープ・ニューラル・ネットワーク(DNN)を提供する。【解決手段】DNNが、3次元(3D)環境のセンサ・データからの物体の検出のために使用される。例えばマルチビュー知覚DNNは、3D環境の様々なビューを連続処理する連鎖された複数の構成DNN又はステージを含む。例示的DNNは、第1のビュー(透視ビュー)でクラス区分を実行する第1のステージと、第2のビューでクラス区分の実行及び/又はインスタンス・ジオメトリの回帰を行う第2のステージとを含む。DNN出力は、3D環境の検出された物体の2D/3D境界ボックス及びクラス・ラベルの生成のために処理される。本技法はアニメート物体及び/又は環境の部分の検出及び分類のために使用され、その検出及び分類は自律型車両運転スタックに提供されて自律型車両の安全な計画策定及び制御を可能にする。【選択図】図4


    Access

    Download


    Export, share and cite



    Title :

    MULTI-VIEW DEEP NEURAL NETWORK FOR LiDAR PERCEPTION


    Additional title:

    LiDAR知覚のためのマルチビュー・ディープ・ニューラル・ネットワーク


    Contributors:
    NIKOLAI SMOLYANSKIY (author) / RYAN OLDJA (author) / CHEN KE (author) / ALEXANDER POPOV (author) / JOACHIM PEHSERL (author) / IBRAHIM EDEN (author) / TILMAN WEKEL (author) / DAVID WEHR (author) / RUCHI BHARGAVA (author) / DAVID NISTER (author)

    Publication date :

    2021-06-10


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    Japanese


    Classification :

    IPC:    G06T Bilddatenverarbeitung oder Bilddatenerzeugung allgemein , IMAGE DATA PROCESSING OR GENERATION, IN GENERAL / G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / G08G Anlagen zur Steuerung, Regelung oder Überwachung des Verkehrs , TRAFFIC CONTROL SYSTEMS



    MULTI-VIEW DEEP NEURAL NETWORK FOR LIDAR PERCEPTION

    SMOLYANSKIY NIKOLAI / OLDJA RYAN / CHEN KE et al. | European Patent Office | 2022

    Free access

    MULTI-VIEW DEEP NEURAL NETWORK FOR LIDAR PERCEPTION

    SMOLYANSKIY NIKOLAI / OLDJA RYAN / CHEN KE et al. | European Patent Office | 2024

    Free access

    Multi-view deep neural network for LiDAR perception

    SMOLYANSKIY NIKOLAI / OLDJA RYAN / CHEN KE et al. | European Patent Office | 2022

    Free access

    MULTI-VIEW DEEP NEURAL NETWORK FOR LIDAR PERCEPTION

    SMOLYANSKIY NIKOLAI / OLDJA RYAN / CHEN KE et al. | European Patent Office | 2021

    Free access

    Lidar-based Deep Neural Network for Reference Lane Generation

    Martinek, Philipp / Pucea, Gheorghe / Rao, Qing et al. | IEEE | 2020