Provided are methods for enhanced semantic labeling in mapping with a semantic labeling system, the methods comprising the steps of: receiving, from a LiDAR sensor of a vehicle, LiDAR point cloud information including at least one raw point feature for a point; receiving, from a camera of the vehicle, image data associated with an image captured using the camera; generating at least one rich point feature for the point based on the image data; predicting, using a LiDAR segmentation neural network and based on the at least one raw point feature and the at least one rich point feature, a point-level semantic label for the point; and providing the point-level semantic label to a mapping engine to generate a map based on the point-level semantic label. Systems and computer program products are also provided.

    시맨틱 라벨링 시스템으로 매핑에서의 향상된 시맨틱 라벨링을 위한 방법들이 제공되며, 이 방법들은, 차량의 LiDAR 센서로부터, 포인트에 대한 적어도 하나의 원시 포인트 특징을 포함하는 LiDAR 포인트 클라우드 정보를 수신하는 단계, 차량의 카메라로부터, 카메라를 사용하여 캡처되는 이미지와 연관된 이미지 데이터를 수신하는 단계, 이미지 데이터에 기초하여 포인트에 대한 적어도 하나의 풍부한 포인트 특징을 생성하는 단계, LiDAR 분할 신경 네트워크를 사용하여 적어도 하나의 원시 포인트 특징 및 적어도 하나의 풍부한 포인트 특징에 기초하여, 포인트에 대한 포인트 레벨 시맨틱 라벨을 예측하는 단계, 및 포인트 레벨 시맨틱 라벨에 기초하여 맵을 생성하기 위해 포인트 레벨 시맨틱 라벨을 매핑 엔진에 제공하는 단계를 포함한다. 시스템들 및 컴퓨터 프로그램 제품들이 또한 제공된다.


    Access

    Download


    Export, share and cite



    Title :

    MULTI-MODAL SEGMENTATION NETWORK FOR ENHANCED SEMANTIC LABELING IN MAPPING


    Additional title:

    매핑에서의 향상된 시맨틱 라벨링을 위한 멀티 모달 분할 네트워크


    Contributors:

    Publication date :

    2023-06-26


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    Korean


    Classification :

    IPC:    G01S RADIO DIRECTION-FINDING , Funkpeilung / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion / G05D SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES , Systeme zum Steuern oder Regeln nichtelektrischer veränderlicher Größen / G06T Bilddatenverarbeitung oder Bilddatenerzeugung allgemein , IMAGE DATA PROCESSING OR GENERATION, IN GENERAL / G06V



    Multi-modal segmentation network for enhanced semantic labeling in mapping

    SERGI ADIPRAJA WIDJAJA / DHANANJAI SHARMA / VENICE ERIN BAYLON LIONG | European Patent Office | 2025

    Free access

    MULTI-MODAL SEGMENTATION NETWORK FOR ENHANCED SEMANTIC LABELING IN MAPPING

    WIDJAJA SERGI ADIPRAJA / SHARMA DHANANJAI / LIONG VENICE ERIN B | European Patent Office | 2023

    Free access