Hossam Boudraa
2024
Did You Get It? A Zero-Shot Approach to Locate Information Transfers in Conversations
Eliot Maës
|
Hossam Boudraa
|
Philippe Blache
|
Leonor Becerra-Bonache
Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024)
Interaction theories suggest that the emergence of mutual understanding between speakers in natural conversations depends on the construction of a shared knowledge base (common ground), but the details of which information and the circumstances under which it is memorized are not explained by any model. Previous works have looked at metrics derived from Information Theory to quantify the dynamics of information exchanged between participants, but do not provide an efficient way to locate information that will enter the common ground. We propose a new method based on the segmentation of a conversation into themes followed by their summarization. We then obtain the location of information transfers by computing the distance between the theme summary and the different utterances produced by a speaker. We evaluate two Large Language Models (LLMs) on this pipeline, on the French conversational corpus Paco-Cheese. More generally, we explore how the recent developments in the field of LLMs provide us with the means to implement these new methods and more generally support research into questions that usually heavily relies on human annotators.
Une approche zero-shot pour localiser les transferts d’informations en conversation naturelle
Eliot Maës
|
Hossam Boudraa
|
Philippe Blache
|
Leonor Becerra-Bonache
Actes de la 31ème Conférence sur le Traitement Automatique des Langues Naturelles, volume 2 : traductions d'articles publiès
Les théories de l’interaction suggèrent que l’émergence d’une compréhension mutuelle entre les locuteurs en conversation naturelle dépend de la construction d’une base de connaissances partagée (common ground), mais n’explicitent ni le choix ni les circonstances de la mémorisation de ces informations.Des travaux antérieurs utilisant les métriques dérivées de la théorie de l’information pour analyser la dynamique d’échange d’information ne fournissent pas de moyen efficace de localiser les informations qui entreront dans le common ground. Nous proposons une nouvelle méthode basée sur la segmentation automatique d’une conversation en thèmes qui sont ensuite résumés. L’emplacement des transferts d’informations est finalement obtenu en calculant la distance entre le résumé du thème et les différents énoncés produits par un locuteur. Nous évaluons deux grands modèles de langue (LLMs) sur cette méthode, sur le corpus conversationnel français Paco-Cheese. Plus généralement, nous étudions la façon dont les derniers développement dans le champ des LLMs permettent l’étude de questions s’appuyant normalement fortement sur le jugement d’annotateurs humains.
Search