Pallier les troubles dys avec une IA de synthèse vocale

Les élèves atteints de certains troubles dys, outil à mettre en œuvre par leur professeur.

L’utilisation de cette application va permettre à des élèves atteints de troubles dys de dépasser ces troubles là pour produire un écrit de manière sereine.

Hormis un gain de temps non négligeable dans un autre contexte, cette application va permettre aux élèves en difficulté de pouvoir continuer à écrire, et ceci presque normalement.

Handy utilise deux modèles, Whisper, un modèle d’apprentissage automatique pour la reconnaissance et la transcription vocales, créé par OpenAI et publié pour la première fois en open source en 2022 et Parakeet de NVIDIA, l’utilisateur devant choisir son modèle à l’installation. Nous avons testé les deux et, à première vue, Parakeet, qui est le modèle recommandé a un léger avantage sur Whisper surtout pour la rapidité de transcription. 

Le principal intérêt de Handy est d’être utilisable en milieu scolaire car elle fonctionne hors ligne, sans faire remonter les données de l’utilisateur vers le cloud comme c’est le cas des outils associés à Google ou, par défaut, de la fonction dictée de MacOS. Handy fonctionne mieux que l’outil natif de Windows.

 

Un ordinateur avec une connexion internet pour télécharger l’application qui fonctionne hors ligne. Handy est une application open source disponible sous licence MIT pour Windows, MacOS et Linux. Elle est gratuite et ne nécessite pas de création de compte.

Il faut que l’élève soit capable de s’exprimer clairement.

Il doit également être dans un environnement sonore sain.

Objectifs

  • Pallier les troubles dys.
  • Pallier une difficulté à utiliser son clavier.

Exemple de mise en œuvre

L’application Handy, qui fonctionne avec l’IA, va nous permettre de retranscrire nos paroles en texte, et ce dans n’importe quelle application.

Comme n’importe quel outil convertissant la parole en texte (speech-to-text) Handy peut aider l’élève en situation de :

  • dyslexie, en proposant un retour visuel immédiat, pour l’aider à reconnaître les mots,
  • dysorthographie car il y a peu de fautes d’orthographe dans la retranscription (pour s’en assurer, on peut coupler le résultat avec un correcteur d’orthographe, traitement de texte classique ou utilisant l’IA),
  • dysgraphie, en produisant son texte oralement,  il ne sera plus « bloqué » par la phase d’écriture,
  • dyspraxie, les troubles de la coordination motrice sont mis entre parenthèse pendant l’utilisation de cet outil.

Pour utiliser handy computer, il nous suffit simplement de télécharger l’application :

Handy se lance par défaut avec le raccourci clavier Ctrl+Espace.

Le paramétrage se fait de manière très simple et me nécessite pas d’être détaillé ici.

Voici une courte vidéo montrant comment cela fonctionne :

L’utilisation de cet outil n’est limité aux situations dys. Il peut d’intégrer dans de nombreuses activités pédagogiques.

All use cases

"Explore our full range of use cases—click below to learn more!"