2023
pdf
bib
abs
Few-Shot Structured Policy Learning for Multi-Domain and Multi-Task Dialogues
Thibault Cordier
|
Tanguy Urvoy
|
Fabrice Lefèvre
|
Lina M. Rojas Barahona
Findings of the Association for Computational Linguistics: EACL 2023
Reinforcement learning has been widely adopted to model dialogue managers in task-oriented dialogues. However, the user simulator provided by state-of-the-art dialogue frameworks are only rough approximations of human behaviour. The ability to learn from a small number of human interactions is hence crucial, especially on multi-domain and multi-task environments where the action space is large. We therefore propose to use structured policies to improve sample efficiency when learning on these kinds of environments. We also evaluate the impact of learning from human vs simulated experts. Among the different levels of structure that we tested, the graph neural networks (GNNs) show a remarkable superiority by reaching a success rate above 80% with only 50 dialogues when learning from simulated experts. They also show superiority when learning from human experts, although a performance drop was observed. We therefore suggest to concentrate future research efforts on bridging the gap between human data, simulators and automatic evaluators in dialogue frameworks.
pdf
bib
abs
Portabilité linguistique des modèles de langage pré-appris appliqués à la tâche de dialogue humain-machine en français
Ahmed Njifenjou
|
Virgile Sucal
|
Bassam Jabaian
|
Fabrice Lefèvre
Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 4 : articles déjà soumis ou acceptés en conférence internationale
Dans cet article, nous proposons une étude de la portabilité linguistique des modèles de langage pré-appris (MLPs) appliqués à une tâche de dialogue à domaine ouvert. La langue cible (L_T) retenue dans cette étude est le français. Elle dispose de peu de ressources spécifiques pour la tâche considérée et nous permet de réaliser une évaluation humaine. La langue source (L_S) est l’anglais qui concentre la majorité des travaux récents dans ce domaine. Construire des MLPs spécifiques pour chaque langue nécessite de collecter de nouveaux jeux de données et cela est coûteux. Ainsi, à partir des ressources disponibles en L_S et L_T, nous souhaitons évaluer les performances atteignables par un système de conversation en L_T . Pour cela, nous proposons trois approches : TrainOnTarget où le corpus L_S est traduit vers L_T avant l’affinage du modèle, TestOnSource où un modèle L_S est couplé avec des modules de traduction au moment du décodage et TrainOnSourceAdaptOnTarget, qui utilise un MLP multilingue - ici BLOOM (BigScience Workshop, 2022) - avec l’architecture MAD-X Adapter (Pfeiffer et al., 2020) pour apprendre la tâche en L_S et l’adapter à L_T . Les modèles sont évalués dans des conditions de dialogue oral et les stratégies sont comparées en termes de qualité perçue lors l’interaction.
pdf
bib
abs
muDialBot, vers l’interaction humain-robot multimodale pro-active
Fabrice Lefèvre
|
Timothée Dhaussy
|
Bassam Jabaian
|
Ahmed Njifenjou
|
Virgile Sucal
Actes de CORIA-TALN 2023. Actes de la 30e Conférence sur le Traitement Automatique des Langues Naturelles (TALN), volume 6 : projets
Dans le projet ANR muDialBot, notre ambition est d’incorporer pro-activement des traits de comportements humains dans la communication parlée. Nous projetons d’atteindre une nouvelle étape de l’exploitation de l’information riche fournie par les flux de données audio et visuelles venant des humains. En particulier en extraire des événements verbaux et non-verbaux devra permettre d’accroître les capacités de décision des robots afin de gérer les tours de parole plus naturellement et aussi de pouvoir basculer d’interactions de groupe à des dialogues en face-à-face selon la situation. Récemment on a vu croître l’intérêt pour les robots compagnons capable d’assister les individus dans leur vie quotidienne et de communiquer efficacement avec eux. Ces robots sont perçus comme des entités sociales et leur pertinence pour la santé et le bien-être psychologique a été mise en avant dans des études. Les patients, leurs familles et les professionels de santé pourront mieux apprécier le potentiel de ces robots, dans la mesure où certaines limites seront rapidement affranchies, telles leur capacité de mouvement, vision et écoute afin de communiquer naturellement avec les humains, aù-délà de ce que permettent déjà les écrans tactiles et les commandes vocales seuls. Les résultats scientifiques et technologiques du projet seront implémentés sur un robot social commercial et seront testés et validés avec plusieurs cas d’usage dans le contexte d’une unité d’hôpital de jour. Une collecte de données à grande échelle viendra compléter les test in-situ pour nourrir les recherches futures. Consoritium : LIA (porteur), INRIA Grenoble, Lab Hubert Curien, AP-HP Broca, ERM Automatismes
2022
pdf
bib
abs
Graph Neural Network Policies and Imitation Learning for Multi-Domain Task-Oriented Dialogues
Thibault Cordier
|
Tanguy Urvoy
|
Fabrice Lefèvre
|
Lina M. Rojas Barahona
Proceedings of the 23rd Annual Meeting of the Special Interest Group on Discourse and Dialogue
Task-oriented dialogue systems are designed to achieve specific goals while conversing with humans. In practice, they may have to handle simultaneously several domains and tasks. The dialogue manager must therefore be able to take into account domain changes and plan over different domains/tasks in order to deal with multi-domain dialogues. However, learning with reinforcement in such context becomes difficult because the state-action dimension is larger while the reward signal remains scarce. Our experimental results suggest that structured policies based on graph neural networks combined with different degrees of imitation learning can effectively handle multi-domain dialogues. The reported experiments underline the benefit of structured policies over standard policies.
2018
pdf
bib
Automation and Optimisation of Humor Trait Generation in a Vocal Dialogue System
Matthieu Riou
|
Stéphane Huet
|
Bassam Jabaian
|
Fabrice Lefèvre
Proceedings of the Workshop on Intelligent Interactive Systems and Language Generation (2IS&NLG)
2017
pdf
bib
abs
Apprentissage en ligne interactif d’un générateur en langage naturel neuronal pour le dialogue homme-machine (On-line Interactive Learning of Natural Language Neural Generation for Human-machine)
Matthieu Riou
|
Bassam Jabaian
|
Stéphane Huet
|
Fabrice Lefèvre
Actes des 24ème Conférence sur le Traitement Automatique des Langues Naturelles. Volume 2 - Articles courts
Récemment, de nouveaux modèles à base de réseaux de neurones récurrents ont été proposés pour traiter la génération en langage naturel dans des systèmes de dialogue (Wen et al., 2016a). Ces modèles demandent une grande quantité de données d’apprentissage ; or la collecte et l’annotation de ces données peuvent être laborieuses. Pour répondre à cette problématique, nous nous intéressons ici à la mise en place d’un protocole d’apprentissage en ligne basé sur un apprentissage par renforcement, permettant d’améliorer l’utilisation d’un modèle initial appris sur un corpus plus restreint généré par patrons. Dans cette étude exploratoire, nous proposons une approche basée sur un algorithme de bandit contre un adversaire, afin d’en étudier l’intérêt et les limites.
2016
pdf
bib
abs
Automatic Corpus Extension for Data-driven Natural Language Generation
Elena Manishina
|
Bassam Jabaian
|
Stéphane Huet
|
Fabrice Lefèvre
Proceedings of the Tenth International Conference on Language Resources and Evaluation (LREC'16)
As data-driven approaches started to make their way into the Natural Language Generation (NLG) domain, the need for automation of corpus building and extension became apparent. Corpus creation and extension in data-driven NLG domain traditionally involved manual paraphrasing performed by either a group of experts or with resort to crowd-sourcing. Building the training corpora manually is a costly enterprise which requires a lot of time and human resources. We propose to automate the process of corpus extension by integrating automatically obtained synonyms and paraphrases. Our methodology allowed us to significantly increase the size of the training corpus and its level of variability (the number of distinct tokens and specific syntactic structures). Our extension solutions are fully automatic and require only some initial validation. The human evaluation results confirm that in many cases native speakers favor the outputs of the model built on the extended corpus.
pdf
bib
abs
Optimiser l’adaptation en ligne d’un module de compréhension de la parole avec un algorithme de bandit contre un adversaire (Adversarial bandit for optimising online active learning of spoken language understanding)
Emmanuel Ferreira
|
Alexandre Reiffers-Masson
|
Bassam Jabaian
|
Fabrice Lefèvre
Actes de la conférence conjointe JEP-TALN-RECITAL 2016. volume 1 : JEP
De nombreux modules de compréhension de la parole ont en commun d’être probabilistes et basés sur des algorithmes d’apprentissage automatique. Deux difficultés majeures, rencontrées par toutes les méthodes existantes sont : le coût de la collecte des données et l’adaptation d’un module existant à un nouveau domaine. Dans cet article, nous proposons un processus d’adaptation en ligne avec une politique apprise en utilisant un algorithme de type bandit contre un adversaire. Nous montrons que cette proposition peut permettre d’optimiser un équilibre entre le coût de la collecte des retours demandés aux utilisateurs et la performance globale de la compréhension du langage parlé après sa mise à jour.
2015
pdf
bib
Optimising Turn-Taking Strategies With Reinforcement Learning
Hatim Khouzaimi
|
Romain Laroche
|
Fabrice Lefèvre
Proceedings of the 16th Annual Meeting of the Special Interest Group on Discourse and Dialogue
pdf
bib
abs
Compréhension automatique de la parole sans données de référence
Emmanuel Ferreira
|
Bassam Jabaian
|
Fabrice Lefèvre
Actes de la 22e conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
La majorité des méthodes état de l’art en compréhension automatique de la parole ont en commun de devoir être apprises sur une grande quantité de données annotées. Cette dépendance aux données constitue un réel obstacle lors du développement d’un système pour une nouvelle tâche/langue. Aussi, dans cette étude, nous présentons une méthode visant à limiter ce besoin par un mécanisme d’apprentissage sans données de référence (zero-shot learning). Cette méthode combine une description ontologique minimale de la tâche visée avec l’utilisation d’un espace sémantique continu appris par des approches à base de réseaux de neurones à partir de données génériques non-annotées. Nous montrons que le modèle simple et peu coûteux obtenu peut atteindre, dès le démarrage, des performances comparables à celles des systèmes état de l’art reposant sur des règles expertes ou sur des approches probabilistes sur des tâches de compréhension de la parole de référence (tests des Dialog State Tracking Challenges, DSTC2 et DSTC3). Nous proposons ensuite une stratégie d’adaptation en ligne permettant d’améliorer encore les performances de notre approche à l’aide d’une supervision faible et ajustable par l’utilisateur.
pdf
bib
Turn-taking phenomena in incremental dialogue systems
Hatim Khouzaimi
|
Romain Laroche
|
Fabrice Lefèvre
Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing
2014
pdf
bib
A simple approach to make dialogue systems incremental (Vers une approche simplifiée pour introduire le caractère incrémental dans les systèmes de dialogue) [in French]
Hatim Khouzaimi
|
Romain Laroche
|
Fabrice Lefèvre
Proceedings of TALN 2014 (Volume 1: Long Papers)
pdf
bib
DictaNum: a dialogue system for numbers dictation (DictaNum : système de dialogue incrémental pour la dictée de numéros.) [in French]
Hatim Khouzaimi
|
Romain Laroche
|
Fabrice Lefèvre
Proceedings of TALN 2014 (Volume 3: System Demonstrations)
pdf
bib
Enia : A customizable multi-domain assistant (Un assistant vocal personnalisable) [in French]
Tatiana Ekeinhor-Komi
|
Hajar Falih
|
Christine Chardenon
|
Romain Laroche
|
Fabrice Lefevre
Proceedings of TALN 2014 (Volume 3: System Demonstrations)
pdf
bib
An easy method to make dialogue systems incremental
Hatim Khouzaimi
|
Romain Laroche
|
Fabrice Lefevre
Proceedings of the 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL)
2013
pdf
bib
Factored Machine Translation Systems for Russian-English
Stéphane Huet
|
Elena Manishina
|
Fabrice Lefèvre
Proceedings of the Eighth Workshop on Statistical Machine Translation
pdf
bib
Discriminative statistical approaches for multilingual speech understanding (Approches statistiques discriminantes pour l’interprétation sémantique multilingue de la parole) [in French]
Bassam Jabaian
|
Fabrice Lefèvre
|
Laurent Besacier
Proceedings of TALN 2013 (Volume 1: Long Papers)
2012
pdf
bib
Robustesse et portabilités multilingue et multi-domaines des systèmes de compréhension de la parole : les corpus du projet PortMedia (Robustness and portability of spoken language understanding systems among languages and domains : the PORTMEDIA project) [in French]
Fabrice Lefèvre
|
Djamel Mostefa
|
Laurent Besacier
|
Yannick Estève
|
Matthieu Quignard
|
Nathalie Camelin
|
Benoit Favre
|
Bassam Jabaian
|
Lina Rojas-Barahona
Proceedings of the Joint Conference JEP-TALN-RECITAL 2012, volume 1: JEP
pdf
bib
Post-édition statistique pour l’adaptation aux domaines de spécialité en traduction automatique (Statistical Post-Editing of Machine Translation for Domain Adaptation) [in French]
Raphaël Rubino
|
Stéphane Huet
|
Fabrice Lefèvre
|
Georges Linarès
Proceedings of the Joint Conference JEP-TALN-RECITAL 2012, volume 2: TALN
pdf
bib
abs
Leveraging study of robustness and portability of spoken language understanding systems across languages and domains: the PORTMEDIA corpora
Fabrice Lefèvre
|
Djamel Mostefa
|
Laurent Besacier
|
Yannick Estève
|
Matthieu Quignard
|
Nathalie Camelin
|
Benoit Favre
|
Bassam Jabaian
|
Lina M. Rojas-Barahona
Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12)
The PORTMEDIA project is intended to develop new corpora for the evaluation of spoken language understanding systems. The newly collected data are in the field of human-machine dialogue systems for tourist information in French in line with the MEDIA corpus. Transcriptions and semantic annotations, obtained by low-cost procedures, are provided to allow a thorough evaluation of the systems' capabilities in terms of robustness and portability across languages and domains. A new test set with some adaptation data is prepared for each case: in Italian as an example of a new language, for ticket reservation as an example of a new domain. Finally the work is complemented by the proposition of a new high level semantic annotation scheme well-suited to dialogue data.
pdf
bib
Statistical Post-Editing of Machine Translation for Domain Adaptation
Raphaël Rubino
|
Stéphane Huet
|
Fabrice Lefèvre
|
Georges Linarès
Proceedings of the 16th Annual Conference of the European Association for Machine Translation
2011
pdf
bib
Using MMIL for the High Level Semantic Annotation of the French MEDIA Dialogue Corpus
Lina Maria Rojas-Barahona
|
Thierry Bazillon
|
Matthieu Quignard
|
Fabrice Lefevre
Proceedings of the Ninth International Conference on Computational Semantics (IWCS 2011)
pdf
bib
The LIGA (LIG/LIA) Machine Translation System for WMT 2011
Marion Potet
|
Raphaël Rubino
|
Benjamin Lecouteux
|
Stéphane Huet
|
Laurent Besacier
|
Hervé Blanchon
|
Fabrice Lefèvre
Proceedings of the Sixth Workshop on Statistical Machine Translation
pdf
bib
Unsupervised Concept Annotation using Latent Dirichlet Allocation and Segmental Methods
Nathalie Camelin
|
Boris Detienne
|
Stéphane Huet
|
Dominique Quadri
|
Fabrice Lefèvre
Proceedings of the First workshop on Unsupervised Learning in NLP
pdf
bib
Unsupervised Alignment for Segmental-based Language Understanding
Stéphane Huet
|
Fabrice Lefèvre
Proceedings of the First workshop on Unsupervised Learning in NLP
pdf
bib
abs
Comparaison et combinaison d’approches pour la portabilité vers une nouvelle langue d’un système de compréhension de l’oral (Comparison and combination of approaches for the portability to a new language of an oral comprehension system)
Bassam Jabaian
|
Laurent Besacier
|
Fabrice Lefèvre
Actes de la 18e conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
Dans cet article, nous proposons plusieurs approches pour la portabilité du module de compréhension de la parole (SLU) d’un système de dialogue d’une langue vers une autre. On montre que l’utilisation des traductions automatiques statistiques (SMT) aide à réduire le temps et le cout de la portabilité d’un tel système d’une langue source vers une langue cible. Pour la tache d’étiquetage sémantique on propose d’utiliser soit les champs aléatoires conditionnels (CRF), soit l’approche à base de séquences (PH-SMT). Les résultats expérimentaux montrent l’efficacité des méthodes proposées pour une portabilité rapide du SLU vers une nouvelle langue. On propose aussi deux méthodes pour accroître la robustesse du SLU aux erreurs de traduction. Enfin on montre que la combinaison de ces approches réduit les erreurs du système. Ces travaux sont motivés par la disponibilité du corpus MEDIA français et de la traduction manuelle vers l’italien d’une sous partie de ce corpus.
pdf
bib
abs
Alignement automatique pour la compréhension littérale de l’oral par approche segmentale (Automatic alignment for the literal oral understanding using a segmental approach)
Stéphane Huet
|
Fabrice Lefèvre
Actes de la 18e conférence sur le Traitement Automatique des Langues Naturelles. Articles courts
Les approches statistiques les plus performantes actuellement pour la compréhension automatique du langage naturel nécessitent une annotation segmentale des données d’entraînement. Nous étudions dans cet article une alternative permettant d’obtenir de façon non-supervisée un alignement segmental d’unités conceptuelles sur les mots. L’impact de l’alignement automatique sur les performances du système de compréhension est évalué sur une tâche de dialogue oral.
2010
pdf
bib
abs
Processus de décision à base de SVM pour la composition d’arbres de frames sémantiques
Marie-Jean Meurs
|
Fabrice Lefèvre
Actes de la 17e conférence sur le Traitement Automatique des Langues Naturelles. Articles courts
Cet article présente un processus de décision basé sur des classifieurs à vaste marge (SVMDP) pour extraire l’information sémantique dans un système de dialogue oral. Dans notre composant de compréhension, l’information est représentée par des arbres de frames sémantiques définies selon le paradigme FrameNet. Le processus d’interprétation est réalisé en deux étapes. D’abord, des réseaux bayésiens dynamiques (DBN) sont utilisés comme modèles de génération pour inférer des fragments d’arbres de la requête utilisateur. Ensuite, notre SVMDP dépendant du contexte compose ces fragments afin d’obtenir la représentation sémantique globale du message. Les expériences sont menées sur le corpus de dialogue MEDIA. Une procédure semi-automatique fournit une annotation de référence en frames sur laquelle les paramètres des DBN et SVMDP sont appris. Les résultats montrent que la méthode permet d’améliorer les performances d’identification de frames pour les exemples de test les plus complexes par rapport à un processus de décision déterministe ad hoc.
2009
pdf
bib
Learning Bayesian Networks for Semantic Frame Composition in a Spoken Dialog System
Marie-Jean Meurs
|
Fabrice Lefèvre
|
Renato de Mori
Proceedings of Human Language Technologies: The 2009 Annual Conference of the North American Chapter of the Association for Computational Linguistics, Companion Volume: Short Papers
pdf
bib
k-Nearest Neighbor Monte-Carlo Control Algorithm for POMDP-Based Dialogue Systems
Fabrice Lefèvre
|
Milica Gašić
|
Filip Jurčíček
|
Simon Keizer
|
François Mairesse
|
Blaise Thomson
|
Kai Yu
|
Steve Young
Proceedings of the SIGDIAL 2009 Conference
2008
pdf
bib
abs
Semantic Frame Annotation on the French MEDIA corpus
Marie-Jean Meurs
|
Frédéric Duvert
|
Frédéric Béchet
|
Fabrice Lefèvre
|
Renato de Mori
Proceedings of the Sixth International Conference on Language Resources and Evaluation (LREC'08)
This paper introduces a knowledge representation formalism used for annotation of the French MEDIA dialogue corpus in terms of high level semantic structures. The semantic annotation, worked out according to the Berkeley FrameNet paradigm, is incremental and partially automated. We describe an automatic interpretation process for composing semantic structures from basic semantic constituents using patterns involving words and constituents. This process contains procedures which provide semantic compositions and generating frame hypotheses by inference. The MEDIA corpus is a French dialogue corpus recorded using a Wizard of Oz system simulating a telephone server for tourist information and hotel booking. It had been manually transcribed and annotated at the word and semantic constituent levels. These levels support the automatic interpretation process which provides a high level semantic frame annotation. The Frame based Knowledge Source we composed contains Frame definitions and composition rules. We finally provide some results obtained on the automatically-derived annotation.
pdf
bib
abs
Annotation en Frames Sémantiques du corpus de dialogue MEDIA
Marie-Jean Meurs
|
Frédéric Duvert
|
Frédéric Béchet
|
Fabrice Lefèvre
|
Renato De Mori
Actes de la 15ème conférence sur le Traitement Automatique des Langues Naturelles. Articles courts
Cet article présente un formalisme de représentation des connaissances qui a été utilisé pour fournir des annotations sémantiques de haut niveau pour le corpus de dialogue oral MEDIA. Ces annotations en structures sémantiques, basées sur le paradigme FrameNet, sont obtenues de manière incrémentale et partiellement automatisée. Nous décrivons le processus d’interprétation automatique qui permet d’obtenir des compositions sémantiques et de générer des hypothèses de frames par inférence. Le corpus MEDIA est un corpus de dialogues en langue française dont les tours de parole de l’utilisateur ont été manuellement transcrits et annotés (niveaux mots et constituants sémantiques de base). Le processus proposé utilise ces niveaux pour produire une annotation de haut niveau en frames sémantiques. La base de connaissances développée (définitions des frames et règles de composition) est présentée, ainsi que les résultats de l’annotation automatique.
2006
pdf
bib
abs
Results of the French Evalda-Media evaluation campaign for literal understanding
H. Bonneau-Maynard
|
C. Ayache
|
F. Bechet
|
A. Denis
|
A. Kuhn
|
F. Lefevre
|
D. Mostefa
|
M. Quignard
|
S. Rosset
|
C. Servan
|
J. Villaneau
Proceedings of the Fifth International Conference on Language Resources and Evaluation (LREC’06)
The aim of the Media-Evalda project is to evaluate the understanding capabilities of dialog systems. This paper presents the Media protocol for speech understanding evaluation and describes the results of the June 2005 literal evaluation campaign. Five systems, both symbolic or corpus-based, participated to the evaluation which is based on a common semantic representation. Different scorings have been performed on the system results. The understanding error rate, for the Full scoring is, depending on the systems, from 29% to 41.3%. A diagnosis analysis of these results is proposed.
2001
pdf
bib
Portability Issues for Speech Recognition Technologies
Lori Lamel
|
Fabrice Lefevre
|
Jean-Luc Gauvain
|
Gilles Adda
Proceedings of the First International Conference on Human Language Technology Research