Techniques are disclosed for performing knowledge distillation in the context of machine learning model training. A fixed pool of "teacher" models are provided, which meet predefined conditions. A machine learning model is then trained to provide a "student," by applying a random selection of the teachers to unlabeled sample data, which accelerates the training process. The algorithm implemented for this purpose ensures that the trained student provides low error.

    Des techniques sont divulguées, pour effectuer une distillation de connaissances dans le contexte d'un entraînement de modèle d'apprentissage automatique. Un groupe fixe de modèles "enseignants" satisfaisant des conditions prédéfinies est fourni. Un modèle d'apprentissage automatique est ensuite entraîné pour fournir un "étudiant" en appliquant une sélection aléatoire des enseignants à des données d'échantillon non étiquetées, ce qui accélère le processus d'entraînement. L'algorithme mis en œuvre à cet effet garantit que l'étudiant entraîné fournit un faible taux d'erreur.


    Access

    Download


    Export, share and cite



    Title :

    KNOWLEDGE DISTILLATION TECHNIQUES


    Additional title:

    TECHNIQUES DE DISTILLATION DE CONNAISSANCES


    Contributors:

    Publication date :

    2023-08-17


    Type of media :

    Patent


    Type of material :

    Electronic Resource


    Language :

    English


    Classification :

    IPC:    G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion



    Decoupled Knowledge Distillation

    Zhao, Borui / Cui, Quan / Song, Renjie et al. | ArXiv | 2022

    Free access

    Generative Dataset Distillation Based on Self-knowledge Distillation

    Li, Longzhen / Li, Guang / Togo, Ren et al. | ArXiv | 2025

    Free access

    Knowledge Distillation with Refined Logits

    Sun, Wujie / Chen, Defang / Lyu, Siwei et al. | ArXiv | 2024

    Free access

    Logit Standardization in Knowledge Distillation

    Sun, Shangquan / Ren, Wenqi / Li, Jingzhi et al. | ArXiv | 2024

    Free access

    KNOWLEDGE DISTILLATION FOR AUTONOMOUS VEHICLES

    WANG MINFA / DING KAI / CHEN HAOYU et al. | European Patent Office | 2022

    Free access