Entrainement des Réseaux de Neurones Profonds, Pr. Dongsuk JEON

La taille et la complexité des modèles d’apprentissage profond récents continuent d’augmenter de façon exponentielle, entraînant d’importantes dépenses matérielles pour la formation de ces modèles. Contrairement au matériel d'inférence uniquement, l'entraînement des réseaux neuronaux est très sensible aux erreurs de calcul ; par conséquent, les processeurs de formation doivent prendre en charge des calculs de haute précision pour éviter une baisse importante des performances, limitant considérablement leur efficacité de traitement. Cet exposé présentera une approche de conception globale pour parvenir à une conception optimale du processeur de formation. Plus spécifiquement, l'exposé discutera de la manière dont nous devrions prendre des décisions de conception importantes pour la formation des processeurs de manière plus approfondie, notamment i) des algorithmes de formation respectueux du matériel, ii) des formats de données optimaux et iii) une architecture de processeur pour une précision et une utilisation élevées.