Des linguistes et des informaticiens tentent de modéliser la langue des signes française pour la traduire vers le français écrit et inversement. Objectif : faciliter l’accès des personnes sourdes aux informations et aux savoirs.

Depuis quelques années, la langue des signes française (LSF) est entrée en gare. Des chercheurs du Laboratoire d’informatique pour la mécanique et les sciences de l’ingénieur (Limsi)1, ont conçu pour la SNCF et en collaboration avec la société Websourd2, un logiciel permettant de générer en temps réel des énoncés par l’intermédiaire d’un avatar signant affiché sur des écrans dans les gares. Un premier pas pour faciliter au quotidien l’accessibilité et la mobilité des personnes sourdes et malentendantesQui en appelle d’autres.

Une accessibilité médiatique insuffisante

En France, ce sont plus de 100 000 personnes qui pratiquent la langue des signes. Reconnue officiellement par la loi en 2005, la LSF joue pour les personnes sourdes et malentendantes le rôle de la langue orale. Mais les défauts de formation en LSF pour les jeunes sourds rendent encore difficile l’apprentissage de la lecture et du français écrit. Et le constat est préoccupant : le français écrit serait mal maîtrisé par la majorité des adultes sourds.

L’accessibilité numérique des sites Internet et des émissions télévisées à l’attention des publics sourds est encore insuffisante, les privant d’un accès égal à une formation et aux informations. Les principales initiatives se limitent au sous-titrage en français écrit, ou à de rares interprétations en LSF par des professionnels, visualisées sous forme de petit médaillon5.

« Il est donc indispensable de produire davantage de contenus en langue signée. D’où l’intérêt de développer des outils informatiques facilitant la création et la manipulation de ces contenus », estime Annelies Braffort, directrice de recherche au Limsi, qui travaille à la modélisation du langage signé et à son traitement automatique.

Une langue à part entière

Mais la tâche est loin d’être aisée. « La LSF n’est pas un “braille gestuel“ équivalent au code tactile utilisé par les personnes aveugles. Elle n’est pas non plus un code gestuel du français ou un code universel. C’est une langue naturelle qui a son propre système linguistique, sa grammaire et son lexique. » La LSF est une langue à part entière et particulière : une langue visuo-gestuelle qui permet de montrer des choses tout en les disant. « La langue des signes permet à la fois de communiquer des informations de nature symbolique et de nature illustrative. Elle possède toutes les propriétés des langues vocales : on peut tout dire dans tous les registres, que ce soit concret ou abstrait, de la poésie, de l’humour ou des débats politiques », poursuit Annelies Braffort.

Une traduction complexe

À l’interface de l’informatique, de la linguistique et de la science du mouvement, la traduction automatique de ou vers la LSF n’emprunte ni les mêmes méthodes ni les mêmes outils que pour les langues parlées. En effet, ce qui pourrait paraître simple pour la transcription d’une langue écrite à une autre, par exemple, de l’anglais au français et inversement, se complique d’une langue écrite à une langue alliant gestes, postures, mimiques et autres jeux de regards. Dès lors, comment produire ou transcrire une langue visuo-gestuelle ? « Il nous faut faire sauter plusieurs verrous, en commençant par la création de ressources linguistiques, souligne Annelies Braffort.

« Une des difficultés pour constituer ces corpus, c’est qu’il n’existe pas pour la LSF d’équivalent au micro pour la parole. On utilise principalement la vidéo, qui ne capte que dans un plan vertical, alors que la LSF se déploie dans l’espace. On ne dispose donc que de données parcellaires, qu’il nous faut ensuite analyser. La LSF est une langue encore peu décrite. »

Il s’agit donc d’analyser le mouvement pour en faire émerger une grammaire, puis de la modéliser en prenant en compte ses différents articulateurs (mains, bras, buste, épaules, tête, regard, sourcils, joues…). Enfin, les chercheurs développent des systèmes qui permettront des traitements automatiques. « Notre objectif général est de représenter de manière formelle le fonctionnement de la langue des signes française, ses éléments et ses règles. Ces représentations doivent nous permettre, par exemple, de générer des énoncés et produire automatiquement des animations en LSF via un signeur virtuel. »

La chercheuse et son équipe développent par ailleurs un logiciel d’aide à la traduction de brèves AFP vers la LSF à travers des animations de signeurs virtuels. Pour cela, il faut lever un verrou bien particulier, celui du style journalistique qui nécessite d’étudier davantage certaines structures linguistiques comme l’organisation spatiale du discours ou la succession des événements temporels.

Et si la traduction automatique reste encore hors de portée, « nous envisageons des logiciels de traduction assistée par ordinateur (TAO), pour les traducteurs en LSF. Un logiciel qui leur faciliterait la tâche, par exemple avec des systèmes de mémoire de traduction, des bases terminologiques… », détaille Annelies Braffort. La chercheuse travaille également au développement d’outils d’aide à la reconnaissance automatique de geste et explore l’utilisation de nouveaux dispositifs pour étudier la LSF. « Nous avons récemment expérimenté un système de capture des mouvements utilisé pour les jeux vidéo ou les films d’animation. Cela nous permettra d’analyser les gestes en 3D ! » s’enthousiasme-t-elleEn dépit des progrès apportés par l’intelligence artificielle en général, et par le « deep learning » en particulier, les chercheurs sont encore loin d’avoir totalement appréhendé la complexité des gestes humains. Malgré des défis difficiles à relever, la traduction automatique progresse et va continuer de s’améliorer. Avec pour objectif la réduction des barrières de communication et d’accès aux informations des citoyens sourds.

LEAVE A REPLY

Please enter your comment!
Please enter your name here