Ghislain Putois


2010

pdf bib
L’évaluation des paraphrases : pour une prise en compte de la tâche
Jonathan Chevelu | Yves Lepage | Thierry Moudenc | Ghislain Putois
Actes de la 17e conférence sur le Traitement Automatique des Langues Naturelles. Articles courts

Les définitions des paraphrases privilégient généralement la conservation du sens. Cet article démontre par l’absurde qu’une évaluation uniquement basée sur la conservation du sens permet à un système inutile de production de paraphrase d’être jugé meilleur qu’un système au niveau de l’état de l’art. La conservation du sens n’est donc pas l’unique critère des paraphrases. Nous exhibons les trois objectifs des paraphrases : la conservation du sens, la naturalité et l’adaptation à la tâche. La production de paraphrase est alors un compromis dépendant de la tâche entre ces trois critères et ceux-ci doivent être pris en compte lors des évaluations.

pdf bib
Enhanced Monitoring Tools and Online Dialogue Optimisation Merged into a New Spoken Dialogue System Design Experience
Ghislain Putois | Romain Laroche | Philippe Bretier
Proceedings of the SIGDIAL 2010 Conference

pdf bib
The True Score of Statistical Paraphrase Generation
Jonathan Chevelu | Ghislain Putois | Yves Lepage
Coling 2010: Posters

2009

pdf bib
Nouveau paradigme d’évaluation des systèmes de dialogue homme-machine
Marianne Laurent | Ghislain Putois | Philippe Bretier | Thierry Moudenc
Actes de la 16ème conférence sur le Traitement Automatique des Langues Naturelles. Prise de position

L’évaluation des systèmes de dialogue homme-machine est un problème difficile et pour lequel ni les objectifs ni les solutions proposées ne font aujourd’hui l’unanimité. Les approches ergonomiques traditionnelles soumettent le système de dialogue au regard critique de l’utilisateur et tente d’en capter l’expression, mais l’absence d’un cadre objectivable des usages de ces utilisateurs empêche une comparaison entre systèmes différents, ou entre évolutions d’un même système. Nous proposons d’inverser cette vision et de mesurer le comportement de l’utilisateur au regard du système de dialogue. Aussi, au lieu d’évaluer l’adéquation du système à ses utilisateurs, nous mesurons l’adéquation des utilisateurs au système. Ce changement de paradigme permet un changement de référentiel qui n’est plus les usages des utilisateurs mais le cadre du système. Puisque le système est complètement défini, ce paradigme permet des approches quantitatives et donc des évaluations comparatives de systèmes.