Résumé: L'apprentissage auto-supervisé (SSL) a donné lieu à des améliorations remarquables dans de nombreux domaines différents, notamment la vision par ordinateur, le traitement du langage naturel et le traitement de la parole, en exploitant de grandes quantités de données non étiquetées. Cependant, dans le contexte spécifique de la parole, malgré des résultats prometteurs, il existe un manque évident de normalisation dans le processus d'évaluation pour des comparaisons complètes de ces modèles. Ce problème s'aggrave encore lors de l'exploration des approches SSL pour d'autres langues que l'anglais. Nous présentons LeBenchmark, un projet open-source et reproductible pour évaluer l'apprentissage auto-supervisé à partir de données de parole en français. Il comprend des corpus documentés, larges et hétérogènes, sept modèles pré-entraînés de façon auto-supervisée wav2vec 2.0 partagés avec la communauté, ainsi qu'un protocole d'évaluation clair comprenant quatre tâches secondaires ainsi que leurs scripts d'évaluation: reconnaissance automatique de la parole, compréhension du langage parlé, traduction automatique de la parole et reconnaissance automatique des émotions. Pour la première fois, les modèles SSL sont analysés et comparés dans ces derniers domaines à la fois d'un point de vue agnostique de la tâche (c'est-à-dire figé) et d'un point de vue spécifique de la tâche (c'est-à-dire ajusté par rapport à la tâche en aval). Nous rapportons des performances de pointe sur la plupart des tâches en français considérées et fournissons une configuration d'évaluation lisible pour le développement de futurs modèles auto-supervisé pour le traitement de la parole.

Publications:

• JEP2022 Modèles neuronaux pré-appris par auto-supervision sur des enregistrements de parole en français

• JEP2022 LeBenchmark, un référentiel d'évaluation pour le français oral

• NEURIPS2021 Task Agnostic and Task Specific Self-Supervised Learning from Speech with LeBenchmark

• INTERSPEECH2021 LeBenchmark: A Reproducible Framework for Assessing Self-Supervised Representation Learning from Speech