To provide a method for 2D semantic keypoint detection and tracking.SOLUTION: A method includes learning embedded descriptors of salient object keypoints detected in previous images according to a descriptor embedding space model. The method also includes predicting, using a shared image encoder backbone, salient object keypoints within a current image of a video stream. The method further includes inferring an object represented by the predicted, salient object keypoints within the current image of the video stream. The method also includes tracking the inferred object by matching embedded descriptors of the predicted, salient object keypoints representing the inferred object within the previous images of the video stream based on the descriptor embedding space model.SELECTED DRAWING: Figure 5

    【課題】2Dセマンティックキーポイント検出および追跡のための方法を提供すること。【解決手段】本方法は、記述子埋込み空間モデルにしたがって先行画像内で検出された注目物体キーポイントの埋込まれた記述子を学習することを含む。該方法は同様に、共有画像エンコーダバックボーンを用いて、ビデオストリームの現画像内部の注目物体キーポイントを予測することを含む。該方法はさらに、ビデオストリームの現画像内部の予測された注目物体キーポイントにより表わされる物体を推論することを含む。該方法は同様に、記述子埋込み空間モデルに基づいてビデオストリームの先行画像内部の推論物体を表わす予測された注目物体キーポイントの埋込まれた記述子をマッチングすることによって、推論物体を追跡することを含む。【選択図】図5


    Zugriff

    Download


    Exportieren, teilen und zitieren



    Titel :

    MONOCULAR 2D SEMANTIC KEYPOINT DETECTION AND TRACKING


    Weitere Titelangaben:

    単眼2Dセマンティックキーポイント検出および追跡


    Beteiligte:
    CHEN HAOFENG (Autor:in) / ARJUN BHARGAVA (Autor:in) / RARES ANDREI AMBRUS (Autor:in) / SUDEEP PILLAI (Autor:in)

    Erscheinungsdatum :

    15.03.2023


    Medientyp :

    Patent


    Format :

    Elektronische Ressource


    Sprache :

    Japanisch


    Klassifikation :

    IPC:    G06T Bilddatenverarbeitung oder Bilddatenerzeugung allgemein , IMAGE DATA PROCESSING OR GENERATION, IN GENERAL / G08G Anlagen zur Steuerung, Regelung oder Überwachung des Verkehrs , TRAFFIC CONTROL SYSTEMS



    END-TO-END MONOCULAR 2D SEMANTIC KEYPOINT DETECTOR AND TRACKER LEARNING

    LEE KUAN-HUI / CHEN KUN-HSIN / CHEN HAOFENG et al. | Europäisches Patentamt | 2022

    Freier Zugriff

    Self-supervised 3D keypoint learning for monocular visual odometry

    TANG JIEXIONG / AMBRUS RARES A / GUIZILINI VITOR et al. | Europäisches Patentamt | 2024

    Freier Zugriff

    SELF-SUPERVISED 3D KEYPOINT LEARNING FOR MONOCULAR VISUAL ODOMETRY

    TANG JIEXIONG / AMBRUS RARES A / GUIZILINI VITOR et al. | Europäisches Patentamt | 2021

    Freier Zugriff

    OpenPifPaf: Composite Fields for Semantic Keypoint Detection and Spatio-Temporal Association

    Kreiss, Sven / Bertoni, Lorenzo / Alahi, Alexandre | IEEE | 2022


    KEYPOINT TRAJECTORY ESTIMATION USING PROPAGATION BASED TRACKING

    Fanani, Nolang / Ochs, Matthias / Bradler, Henry et al. | British Library Conference Proceedings | 2016