Techniques are disclosed for performing knowledge distillation in the context of machine learning model training. A fixed pool of "teacher" models are provided, which meet predefined conditions. A machine learning model is then trained to provide a "student," by applying a random selection of the teachers to unlabeled sample data, which accelerates the training process. The algorithm implemented for this purpose ensures that the trained student provides low error.

    Des techniques sont divulguées, pour effectuer une distillation de connaissances dans le contexte d'un entraînement de modèle d'apprentissage automatique. Un groupe fixe de modèles "enseignants" satisfaisant des conditions prédéfinies est fourni. Un modèle d'apprentissage automatique est ensuite entraîné pour fournir un "étudiant" en appliquant une sélection aléatoire des enseignants à des données d'échantillon non étiquetées, ce qui accélère le processus d'entraînement. L'algorithme mis en œuvre à cet effet garantit que l'étudiant entraîné fournit un faible taux d'erreur.


    Access

    Download


    Export, share and cite



    Title :

    KNOWLEDGE DISTILLATION TECHNIQUES


    Additional title:

    TECHNIQUES DE DISTILLATION DE CONNAISSANCES


    Contributors:

    Publication date :

    2023-08-17


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    English


    Classification :

    IPC:    G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion



    KNOWLEDGE DISTILLATION FOR AUTONOMOUS VEHICLES

    WANG MINFA / DING KAI / CHEN HAOYU et al. | European Patent Office | 2022

    Free access

    KNOWLEDGE DISTILLATION FOR AUTONOMOUS VEHICLES

    WANG MINFA / DING KAI / CHEN HAOYU et al. | European Patent Office | 2022

    Free access

    Rethinking Online Knowledge Distillation with Multi-exits

    Lee, Hojung / Lee, Jong-Seok | British Library Conference Proceedings | 2023


    Long-Term Knowledge Distillation of Visual Place Classifiers

    Tomoe, Hiroki / Kanji, Tanaka | IEEE | 2019


    Air Traffic Flow Prediction with Spatiotemporal Knowledge Distillation Network

    Zhiqi Shen / Kaiquan Cai / Quan Fang et al. | DOAJ | 2024

    Free access