Un paradigme pour l’interprétation des métriques et pour mesurer la gravité des erreurs de reconnaissance automatique de la parole

Thibault Batextasciitilde neras Roux, Mickael Rouvier, Jane Wottawa, Richard Dufour


Abstract
Les mesures couramment employées pour l’évaluation des transcriptions automatiques de la parole, telles que le taux d’erreur-mot (WER) et le taux d’erreur-caractère (CER), ont fait l’objet d’importantes critiques en raison de leur corrélation limitée avec la perception humaine et de leur incapacité à prendre en compte les nuances linguistiques et sémantiques. Bien que des métriques fondées sur les plongements sémantiques aient été introduites pour se rapprocher de la perception humaine, leur interprétabilité reste difficile par rapport au WER et CER. Dans cet article, nous surmontons ce problème en introduisant un paradigme qui intègre une métrique choisie pour obtenir un équivalent du taux d’erreur appelé Distance d’Édition Minimale, ou Minimum Edit Distance (minED). Nous proposons également d’utiliser cette approche pour mesurer la gravité des erreurs en fonction d’une métrique, d’un point de vue intrinsèque et extrinsèque.
Anthology ID:
2024.jeptalnrecital-jep.20
Volume:
Actes des 35èmes Journées d'Études sur la Parole
Month:
7
Year:
2024
Address:
Toulouse, France
Editors:
Mathieu Balaguer, Nihed Bendahman, Lydia-Mai Ho-dac, Julie Mauclair, Jose G Moreno, Julien Pinquier
Venue:
JEP/TALN/RECITAL
SIG:
Publisher:
ATALA and AFPC
Note:
Pages:
191–199
Language:
French
URL:
https://aclanthology.org/2024.jeptalnrecital-jep.20
DOI:
Bibkey:
Cite (ACL):
Thibault Batextasciitilde neras Roux, Mickael Rouvier, Jane Wottawa, and Richard Dufour. 2024. Un paradigme pour l’interprétation des métriques et pour mesurer la gravité des erreurs de reconnaissance automatique de la parole. In Actes des 35èmes Journées d'Études sur la Parole, pages 191–199, Toulouse, France. ATALA and AFPC.
Cite (Informal):
Un paradigme pour l’interprétation des métriques et pour mesurer la gravité des erreurs de reconnaissance automatique de la parole (Batextasciitilde neras Roux et al., JEP/TALN/RECITAL 2024)
Copy Citation:
PDF:
https://aclanthology.org/2024.jeptalnrecital-jep.20.pdf