Comment apprendre la langue des signes grâce à l’apprentissage automatique

Il existe de nombreuses langues des signes, presque autant que les langues parlées dans le monde, donc créer un interprète utilisant l’intelligence artificielle n’est pas aussi simple que de mémoriser un ensemble fixe de mouvements.

Google a cherché comment ils peuvent aider à résoudre le problème en utilisant des modèles d’apprentissage automatique, en partenariat avec des experts linguistiques et des personnes malentendantes, et c’est ainsi qu’ils ont réussi à créer plusieurs modèles d’apprentissage automatique pour reconnaître la langue des signes comme la somme de ses parties.

Ils testent la vidéo depuis plusieurs mois pour le Langue des signes japonaise et hongkongaise, et c’est ainsi qu’est née SignTown, une application de bureau interactive qui fonctionne avec un navigateur Web et une caméra. Je l’ai testé et c’est vraiment intéressant.

J’active la webcam et commence à imiter les gens qui expriment des mots avec des signes, la webcam et le système d’apprentissage automatique font le reste, me disant si j’ai bien fait ou pas.

Pour le moment, cela ne fonctionne que pour ces deux langues, dans un plan gamifié, de sorte qu’il est facile d’apprendre de nouveaux mots devant le moniteur.

Le jeu fait partie du projet Shuwa. Ils travaillent actuellement à la création d’un dictionnaire plus complet dans davantage de langues des signes et collaborent avec l’équipe de recherche Google pour publier des résultats qui améliorent la qualité de recherche des langues des signes.

Ces avancées en IA et ML vous permettent de mieux identifier les mouvements de la main, les poses du corps et les expressions faciales. Dans ce cas, il utilise le modèle holistique de MediaPipe pour identifier les points clés des images vidéo brutes, le tout dans le navigateur de l’utilisateur en utilisant la technologie de Tensorflow.js.

Une expérience vraiment recommandable pour tout le monde.