Alexandre AUDIBERT

Les applications de l’apprentissage profond se développent rapidement et ne montrent aucun signe de ralentissement ; elles sont même utilisées dans des domaines plus complexes comme la médecine ou le droit. La composante la plus critique d’une approche d’apprentissage profond est le pré-entraînement d’un modèle à grande capacité sur une immense quantité de données. Cette étape générale de pré-entraînement est suivie d’une étape de fine-tuning, où le modèle est affiné pour une tâche spécifique. Cependant, entraîner ces nouveaux types de modèles est très chronophage, surtout lorsque plusieurs tâches doivent être résolues, car cela peut nécessiter l’apprentissage de plusieurs modèles séparés. L’apprentissage multi-tâches est un paradigme de l’apprentissage pro- fond qui cherche à apprendre plusieurs tâches simultanément en utilisant un seul modèle. Cette thèse se concentre sur l’étude des interactions entre les tâches et sur le développement de nouveaux algorithmes pour l’apprentissage multi-tâches, en particulier dans le contexte de la justice prédic- tive. Dans notre travail, nous avons combiné l’apprentissage multi-tâches avec une représentation tensorielle de faible rang pour améliorer l’efficacité des paramètres et étudier les interactions entre les tâches. Nous avons étudié la tâche de classification de texte multi-étiquettes, qui est le scénario multi-tâches le plus courant où l’objectif est de prédire toutes les étiquettes associées à un texte donné. Dans notre travail, nous proposons d’explorer l’interaction entre les étiquettes par une étude avancée de l’apprentissage contrastif. Enfin, nous aborderons les travaux futurs en étudiant la compatibilité de l’approche du mélange d’experts avec les tâches multi-étiquettes.

Nos approches sont actuellement testées sur plusieurs ensembles de données et montrent des résultats prometteurs pour les recherches futures.