Techniques are disclosed for performing knowledge distillation in the context of machine learning model training. A fixed pool of "teacher" models are provided, which meet predefined conditions. A machine learning model is then trained to provide a "student," by applying a random selection of the teachers to unlabeled sample data, which accelerates the training process. The algorithm implemented for this purpose ensures that the trained student provides low error.
Des techniques sont divulguées, pour effectuer une distillation de connaissances dans le contexte d'un entraînement de modèle d'apprentissage automatique. Un groupe fixe de modèles "enseignants" satisfaisant des conditions prédéfinies est fourni. Un modèle d'apprentissage automatique est ensuite entraîné pour fournir un "étudiant" en appliquant une sélection aléatoire des enseignants à des données d'échantillon non étiquetées, ce qui accélère le processus d'entraînement. L'algorithme mis en œuvre à cet effet garantit que l'étudiant entraîné fournit un faible taux d'erreur.
KNOWLEDGE DISTILLATION TECHNIQUES
TECHNIQUES DE DISTILLATION DE CONNAISSANCES
2023-08-17
Patent
Electronic Resource
English
IPC: | G06N COMPUTER SYSTEMS BASED ON SPECIFIC COMPUTATIONAL MODELS , Rechnersysteme, basierend auf spezifischen Rechenmodellen / B60W CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION , Gemeinsame Steuerung oder Regelung von Fahrzeug-Unteraggregaten verschiedenen Typs oder verschiedener Funktion |
Rethinking Online Knowledge Distillation with Multi-exits
British Library Conference Proceedings | 2023
|Air Traffic Flow Prediction with Spatiotemporal Knowledge Distillation Network
DOAJ | 2024
|