Ein System zum Abschätzen und Visualisieren des freien Raums für ein Host-Fahrzeug umfasst eine Kamera, die konfiguriert ist, dass sie rot-grün-blau-polarimetrische (RGB-polarimetrische) Bilddaten der Fahrumgebung des Host-Fahrzeugs, einschließlich eines potenziellen Fahrwegs, zu erfassen. Eine elektronische Steuereinheit (ECU) empfängt die RGB-polarimetrischen Bilddaten und schätzt den freien Raum im Fahrweg durch Verarbeitung der RGB-polarimetrischen Bilddaten über ein neuronales Netzwerk auf Laufzeitbasis. Als Reaktion auf den geschätzten freien Raum werden Steuermaßnahmen ergriffen. Ein Verfahren zur Verwendung mit dem Visualisierungssystem umfasst das Sammeln von RGB- und Lidar-Daten von Zielfahrszenen und das Erzeugen von Pseudo-Labels der Szenen über ein erstes neuronales Netz. Das Verfahren umfasst das Sammeln von RGB-polarimetrischen Daten über eine Kamera und das anschließende Trainieren eines zweiten neuronalen Netzes unter Verwendung der RGB-polarimetrischen Daten und Pseudo-Labels. Das zweite neuronale Netz wird in der ECU verwendet, um den freien Raum im potenziellen Fahrweg zu schätzen.

    A free space estimation and visualization system for a host vehicle includes a camera configured to collect red-green-blue (“RGB”)-polarimetric image data of drive environs of the host vehicle, including a potential driving path. An electronic control unit (“ECU”) receives the RGB-polarimetric image data and estimates free space in the driving path by processing the RGB-polarimetric image data via a run-time neural network. Control actions are taken in response to the estimated free space. A method for use with the visualization system includes collecting RGB and lidar data of target drive scenes and generating, via a first neural network, pseudo-labels of the scenes. The method includes collecting RGB-polarimetric data via a camera and thereafter training a second neural network using the RGB-polarimetric data and pseudo-labels. The second neural network is used in the ECU to estimate free space in the potential driving path.


    Access

    Download


    Export, share and cite



    Title :

    FREIRAUMDETEKTION UNTER VERWENDUNG VON RGB-POLARIMETRISCHEN BILDERN


    Contributors:
    BALTAXE MICHAEL (author) / PE'ER TOMER (author) / LEVI DAN (author)

    Publication date :

    2024-08-01


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    German


    Classification :

    IPC:    B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion



    Fahrzeug mit einem polarimetrischen Radarsystem sowie Verfahren für ein Fahrzeug

    BELLER STEFAN / ERFURTH FELIX / ABT DOMINIK | European Patent Office | 2020

    Free access

    ERZEUGUNG VON ZUSAMMENGESETZTEN BILDERN UNTER VERWENDUNG VON ZWISCHENBILDFLÄCHEN

    SLUTSKY MICHAEL / GEFEN YAEL / STEIN LIOR | European Patent Office | 2021

    Free access

    Vorrichtung und Verfahren zum Realisieren von Overlay-Bildern unter Verwendung von MRLC

    KIM GYU WON / HA JOO YOUNG / SONG IN TAEK | European Patent Office | 2022

    Free access

    Sichtbasierte Detektion eines nassen Straßenbelags unter Verwendung von gespiegelten und realen Bildern

    ZHAO QINGRONG / ZHANG WENDE / WANG JINSONG et al. | European Patent Office | 2015

    Free access