L’apport de la gamification dans la linguistique de corpus

Aktan était présent aux 8èmes JLC2015, Journées Internationales de Linguistique de Corpus qui se tenaient en ce début septembre. Ces journées sont un moment de partage de résultats et de confrontation d’outils et d’expériences. Elles réunissaient les chercheurs concernés par l’utilisation de l’informatique pour l’analyse des faits de langue dans les corpus.

 
Parmi les interventions intéressantes à ces journées, on peut retenir particulièrement celle de Karën Fort intitulée Experts ou (foule de) non-experts ? La question de l’expertise des annotateurs vue de la myriardisation (crowdsourcing).

 
Karën y montre les avantages et bénéfices des sciences participatives appliquées aux sciences du langage, notamment au travers des GWAP (Game with a Purpose), jeux ayant un but en français, et remet en cause la « sacro-sainte expertise » : faire développer des ressources linguistiques (lexiques, corpus annotés, etc) pour le traitement automatique du langage par une foule de non experts dont c’est le loisir, pour des résultats de bonne qualité. Les GWAP s’appliquent particulièrement bien au développement de ressources langagières diverses, qui sont de manière générale très couteuses à développer en terme de temps et d’argent, et qui sont soumises à des aléas de qualités dus aux différents domaines d’expertise et à l’interprétation des annotateurs.

 
Son intervention illustre comment en intégrant de la « gamification » dans le développement participatif de ces ressources, on peut obtenir des résultats de qualité satisfaisante, de manière rapide et peu coûteuse. En effet, les résultats fournis par la masse de joueurs venant d’horizons différents sont moins soumis à la subjectivité que ceux de quelques annotateurs experts. Le coût de revient de l’élaboration de ces ressources est également réduit au simple développement du jeu, et même si cela représente un important investissement au départ, il ne doit pas être laissé au hasard car cela conditionne sa réussite.

 
Effectivement, il est important de structurer le jeu pour tirer le meilleur du potentiel des joueurs, en utilisant une méthodologie adaptée (on peut citer la méthode Game par exemple), notamment en terme de formation des joueurs, de vérification et d’évaluation des résultats, de captation et fidélisation des joueurs. Chaque nouveau joueur doit être formé et testé par l’intermédiaire du jeu de manière à vérifier si ses réponses sont pertinentes et conformes aux objectifs et attentes. N’oublions pas que les joueurs sont pour la plupart des non-experts en annotation au départ, mais avec un jeu correctement structuré, l’objectif est de les guider jusqu’à ce qu’ils deviennent des experts sur la tâche qu’ils doivent accomplir. A noter que même des experts en annotation doivent être formés pour des tâches spécifiques portant sur des ressources spécialisées.

 
Avec un jeu attrayant respectant les règles de la gamification, les ressources peuvent être très rapidement disponibles et à moindre coût, par des personnes volontaires et motivées dont c’est le loisir.

 
L’exemple le plus marquant de la réussite de la gamification utilisée de manière adaptée et efficace est sans doute le jeu FoldIt, dans lequel les joueurs ont résolu en 3 semaines un problème très spécifique (découverte d’une structure de protéine) que les ordinateurs n’arrivaient pas à résoudre, et sur lequel les scientifiques étaient bloqués depuis plus de 10 ans… Cet exemple montre bien que la collaboration à travers le jeu de non-experts correctement formés à une tâche spécifique peut être très puissante.

 
 

Pour aller plus loin :
Lang, T., Bertholet, G., & Muletier, C. (2014). La gamification: Ou l’art d’utiliser les mécaniques du jeu dans votre business. Editions Eyrolles.
Fort, K., Guillaume, B., and Stern, V. (2014). Zombilingo : eating heads to perform dependency syntax annotation (zombilingo : manger des têtes pour annoter en syntaxe de dépendances)
Fort, K., François, C., Galibert, O., and Ghribi, M. (2012a). Analyzing the impact of prevalence on the evaluation of a manual annotation campaign.
Quelques GWAP :
FoldIt, résolution de problèmes scientifiques (Khatib et al, 2001)
Zombilingo, annotation de corpus en syntaxe de dépendance (Fort et al, 2014)
JeuxDeMots, création d’un réseau lexical (Lafourcade et joubert, 2008)
PhraseDetective, annotation des anaphores (Chamberlain et al, 2008)