To provide a method for 2D semantic keypoint detection and tracking.SOLUTION: A method includes learning embedded descriptors of salient object keypoints detected in previous images according to a descriptor embedding space model. The method also includes predicting, using a shared image encoder backbone, salient object keypoints within a current image of a video stream. The method further includes inferring an object represented by the predicted, salient object keypoints within the current image of the video stream. The method also includes tracking the inferred object by matching embedded descriptors of the predicted, salient object keypoints representing the inferred object within the previous images of the video stream based on the descriptor embedding space model.SELECTED DRAWING: Figure 5

    【課題】2Dセマンティックキーポイント検出および追跡のための方法を提供すること。【解決手段】本方法は、記述子埋込み空間モデルにしたがって先行画像内で検出された注目物体キーポイントの埋込まれた記述子を学習することを含む。該方法は同様に、共有画像エンコーダバックボーンを用いて、ビデオストリームの現画像内部の注目物体キーポイントを予測することを含む。該方法はさらに、ビデオストリームの現画像内部の予測された注目物体キーポイントにより表わされる物体を推論することを含む。該方法は同様に、記述子埋込み空間モデルに基づいてビデオストリームの先行画像内部の推論物体を表わす予測された注目物体キーポイントの埋込まれた記述子をマッチングすることによって、推論物体を追跡することを含む。【選択図】図5


    Access

    Download


    Export, share and cite



    Title :

    MONOCULAR 2D SEMANTIC KEYPOINT DETECTION AND TRACKING


    Additional title:

    単眼2Dセマンティックキーポイント検出および追跡


    Contributors:

    Publication date :

    2023-03-15


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    Japanese


    Classification :

    IPC:    G08G Anlagen zur Steuerung, Regelung oder Überwachung des Verkehrs , TRAFFIC CONTROL SYSTEMS / G06T Bilddatenverarbeitung oder Bilddatenerzeugung allgemein , IMAGE DATA PROCESSING OR GENERATION, IN GENERAL



    END-TO-END MONOCULAR 2D SEMANTIC KEYPOINT DETECTOR AND TRACKER LEARNING

    LEE KUAN-HUI / CHEN KUN-HSIN / CHEN HAOFENG et al. | European Patent Office | 2022

    Free access

    SELF-SUPERVISED 3D KEYPOINT LEARNING FOR MONOCULAR VISUAL ODOMETRY

    TANG JIEXIONG / AMBRUS RARES A / GUIZILINI VITOR et al. | European Patent Office | 2021

    Free access

    OpenPifPaf: Composite Fields for Semantic Keypoint Detection and Spatio-Temporal Association

    Kreiss, Sven / Bertoni, Lorenzo / Alahi, Alexandre | IEEE | 2022


    Accurate keyframe selection and keypoint tracking for robust visual odometry

    Fanfani, M. / Bellavia, F. / Colombo, C. | British Library Online Contents | 2016


    Moving vehicle detection and tracking using monocular vision

    Miao,X. / Li,S. / Shen,H. et al. | Automotive engineering | 2014