Améliorations d'un système Transformer de reconnaissance de phonèmes appliqué à la parole d'enfants apprenants lecteurs - Université Toulouse 1 Capitole Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Améliorations d'un système Transformer de reconnaissance de phonèmes appliqué à la parole d'enfants apprenants lecteurs

Résumé

The performance of automatic speech recognition systems for children is not equal to that of systems for adults : child speech is difficult to recognize and few data are available in French. Moreover, we face here the presence of reading errors of young children. We adapt an end-to-end Transformer system to the speech of children learning to read. Multi-objective training with CTC and joint CTC/attention decoding reduce the phoneme error rate (PER) from 22.9% to 19.6%. We also combine a classroom babble noise augmentation and an innovative augmentation consisting in simulating reading mistakes to improve the robustness of our system and achieve a PER of 15.1%. Detailed analyses show that the system is more robust to noise and that the use of CTC and synthetic mistakes augmentation help better recognize children’s reading mistakes.
Les performances des systèmes de reconnaissance automatique de la parole d'enfants n'égalent pas celles des systèmes adultes : la parole d'enfant est difficile à reconnaître et peu de données sont disponibles en Français. Nous faisons de plus face ici à la présence d'erreurs de lecture de jeunes enfants. Nous adaptons un système Transformer end-to-end à la parole d'enfants apprenant•e•s lecteur•rice•s. Un entraînement multi-objectif avec une fonction Connectionist Temporal Classification (CTC) et un décodage joint CTC/attention réduit le taux d'erreur phonème (PER) de 22,9% à 19,6%. Nous combinons également une augmentation par ajout de bruit de salle de classe et une augmentation innovante par simulation d'erreurs de lecture pour améliorer la robustesse du système, et atteignons un PER de 15,1%. Des analyses détaillées montrent que le système est plus robuste au bruit, et que l'ajout de la fonction CTC et l'augmentation d'erreurs synthétiques aident à mieux reconnaître les erreurs des enfants.
Fichier principal
Vignette du fichier
JEP_2022.pdf (272.94 Ko) Télécharger le fichier
Origine : Fichiers éditeurs autorisés sur une archive ouverte

Dates et versions

hal-03898401 , version 1 (14-12-2022)

Identifiants

  • HAL Id : hal-03898401 , version 1

Citer

Lucile Gelin, Thomas Pellegrini, Julien Pinquier, Morgane Daniel. Améliorations d'un système Transformer de reconnaissance de phonèmes appliqué à la parole d'enfants apprenants lecteurs. 34èmes Journées d'Études sur la Parole - Parole, Geste, Musique : des unités à leur organisation (JEP 2022), Association Francophone de la Communication Parlée, Jun 2022, Noirmoutier, France. à paraître. ⟨hal-03898401⟩
42 Consultations
36 Téléchargements

Partager

Gmail Facebook X LinkedIn More