Pallier les troubles dys avec une IA de synthèse vocale

Handy, une application d’IA, retranscrit la parole en texte dans toute application. Idéale pour les élèves en situation de dyslexie (retour visuel immédiat), dysorthographie (peu de fautes), dysgraphie (écriture orale) ou dyspraxie (contournement des troubles moteurs). Accessible via Ctrl+Espace, elle s’installe facilement et s’adapte aussi à divers usages pédagogiques.

Les élèves atteints de certains troubles dys.

Permettre à des élèves atteints de troubles dys de produire un écrit de manière sereine.

Handy permet aux élèves en difficulté de produire des textes.

Handy utilise deux modèles, Whisper, un modèle d’apprentissage automatique pour la reconnaissance et la transcription vocales, créé par OpenAI et publié pour la première fois en open source en 2022 et Parakeet de NVIDIA, l’utilisateur devant choisir son modèle à l’installation. Nous avons testé les deux et, à première vue, Parakeet, qui est le modèle recommandé a un léger avantage sur Whisper surtout pour la rapidité de transcription. 

Le principal intérêt de Handy est d’être utilisable en milieu scolaire car elle fonctionne hors ligne, sans faire remonter les données de l’utilisateur vers le cloud comme c’est le cas des outils associés à Google ou, par défaut, de la fonction dictée de MacOS. Handy fonctionne mieux que l’outil natif de Windows.

 

Un ordinateur avec une connexion internet pour télécharger l’application qui fonctionne hors ligne.Handy est une application open source disponible sous licence MIT pour Windows, MacOS et Linux. Elle est gratuite et ne nécessite pas de création de compte.

Il faut que l’élève soit capable de s’exprimer clairement.

Il doit également être dans un environnement sonore sain.

Objectifs

  • Pallier les troubles dys.
  • Pallier une difficulté à utiliser son clavier.

Exemple de mise en œuvre

L’application Handy, qui fonctionne avec l’IA, permet de retranscrire nos paroles en texte dans n’importe quelle application.

Comme tous les outils convertissant la parole en texte (speech-to-text) Handy peut aider l’élève en situation de :

  • dyslexie, en proposant un retour visuel immédiat, pour l’aider à reconnaître les mots,
  • dysorthographie car il y a peu de fautes d’orthographe dans la retranscription (pour s’en assurer, on peut coupler le résultat avec un correcteur d’orthographe, traitement de texte classique ou utilisant l’IA),
  • dysgraphie, en produisant son texte oralement,  il ne sera plus « bloqué » par la phase d’écriture,
  • dyspraxie, les troubles de la coordination motrice sont mis entre parenthèse pendant l’utilisation de cet outil.

Pour utiliser handy computer, il suffit de télécharger l’application :

Handy se lance par défaut avec le raccourci clavier Ctrl+Espace.

Le paramétrage très simple ne nécessite pas d’être détaillé.

Voici une courte vidéo montrant comment cela fonctionne :

L’utilisation de cet outil n’est pas limitée aux situations dys. Il peut s’intégrer dans de nombreuses activités pédagogiques.

All use cases

"Explore our full range of use cases—click below to learn more!"