Résumé

Il est important d'avoir une image claire de ce qui existe en termes de ressources linguistiques et d'évaluation pour mener des recherches en linguistique computationnelle ou en communication parlée et pour développer des systèmes de traitement automatique des langues et de la parole. La prise en compte de la couverture linguistique est particulièrement importante pour produire des technologies qui puissent aider le multilinguisme et protéger les langues en danger. Cela implique de savoir ce qui est nécessaire et ce qui existe déjà pour certaines langues, d’identifier les lacunes pour d'autres langues et de trouver un moyen de les combler.

Pour obtenir cette information, la LRE Map a été proposée dans le cadre du projet FLaReNet de la Commission Européenne. La LRE Map est basée sur les données recueillies directement auprès des auteurs lors des conférences et fournit ainsi des données réelles obtenues à la source, et non une estimation de ces données. Nous considérons ici les « ressources linguistiques » au sens large, incluant les données, les outils, l'évaluation et les méta-ressources (normes, métadonnées, bonnes pratiques, etc.). Les informations recueillies incluent le nom de la ressource, son type, sa ou ses modalités, la ou les langues couvertes, sa taille, l'état de sa production, son utilisation, sa disponibilité, les licences de distribution, l’existence de documentation et éventuellement l'URL du site où elle peut être obtenue. La LRE Map contient actuellement des données collectées dans 12 conférences tenues entre 2010 et 2014, et les données de deux autres conférences tenues en 2016 seront ajoutées prochainement.

Afin de mesurer l’existence des ressources linguistiques pour les différentes langues, nous avons conçu un outil logiciel appelé "LRE Matrix" qui produit automatiquement des matrices de langue à partir de la LRE Map donnant le nombre de ressources de différents types qui existent pour les différentes modalités pour chaque langue. Nous avons tenu compte des noms, des types, des modalités et des langues attachés à chaque entrée de la LRE Map. Un important nettoyage manuel a été nécessaire pour pouvoir utiliser les données afin d'éviter les doublons et de compléter les informations manquantes.

Nous avons développé une matrice globale identifiant les ressources existantes pour les différentes langues européennes (langues officielles de l'UE et autres langues nationales ou régionales) et pour les principales langues internationales. Nous avons ensuite produit des matrices distinctes pour les différentes modalités (parole, texte et multimodal/multimédia) concernant les données, les outils, l'évaluation et les méta-ressources.

Nous avons également analysé le nombre de fois où une ressource est mentionnée dans les articles scientifiques, que l'on pourrait appeler «Facteur d'Impact» de la ressource (LRIF), à l’aide du corpus NLP4NLP que nous avons constitué et qui rassemble plus de 65,000 articles parus dans les conférences et revues du domaine sur une période de 50 ans (1965-2015). Nous avons effectué ces mesures pour les données, les outils, l’évaluation et les méta-ressources globalement et pour différentes langues.

Compte tenu de leur caractère quantitatif et objectif, nos résultats sont utiles pour comparer la situation des différentes langues nationales et régionales relative à l’existence et la disponibilité de ressources linguistiques, et leur progression. Nous avons spécifiquement étudié l'existence de ressources pour les langues européennes régionales ou peu dotées et pour les langues des signes. Ces données et ces outils seront utilisés par le Less-Resourced Languages Committee créé récemment au sein de l'European Language Resources Association (ELRA), qui s ‘élargit vers un SIG commun avec l’International Speech Communication Association (ISCA) : SIG-UL (Special Interest Group on Under-resourced Languages).

Nous avons comparé nos résultats quantitatifs aux résultats qualitatifs obtenus dans une analyse parue dans les White Papers du réseau Européen META-NET, et suggérons des adaptations des catégories et du classement des tableaux de META-NET.

Nous avons été confrontés dans nos études au besoin d'un processus fastidieux de normalisation et de nettoyage qui a montré la nécessité d'attribuer un identifiant unique et persistant à chaque ressource linguistique afin de l'identifier plus facilement et de suivre ses utilisations et son évolution au fil du temps. Cela nécessitera une coordination internationale pour laquelle ELRA a proposé l’ISLRN (International Standard Language Resource Number Resource), similaire à l'ISBN pour les publications.