@inproceedings{chaffin-etal-2022-choisir,
title = "Choisir le bon co-{\'e}quipier pour la g{\'e}n{\'e}ration coop{\'e}rative de texte (Choosing The Right Teammate For Cooperative Text Generation)",
author = "Chaffin, Antoine and
Claveau, Vincent and
Kijak, Ewa and
Lamprier, Sylvain and
Piwowarski, Benjamin and
Scialom, Thomas and
Staiano, Jacopo",
editor = "Est{\`e}ve, Yannick and
Jim{\'e}nez, Tania and
Parcollet, Titouan and
Zanon Boito, Marcely",
booktitle = "Actes de la 29e Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf{\'e}rence principale",
month = "6",
year = "2022",
address = "Avignon, France",
publisher = "ATALA",
url = "https://aclanthology.org/2022.jeptalnrecital-taln.2",
pages = "12--26",
abstract = "Les mod{\`e}les de langue g{\'e}n{\`e}rent des textes en pr{\'e}disant successivement des distributions de probabilit{\'e} pour les prochains tokens en fonction des tokens pr{\'e}c{\'e}dents. Pour g{\'e}n{\'e}rer des textes avec des propri{\'e}t{\'e}s souhait{\'e}es (par ex. {\^e}tre plus naturels, non toxiques ou avoir un style d{'}{\'e}criture sp{\'e}cifique), une solution {---} le d{\'e}codage coop{\'e}ratif {---} consiste {\`a} utiliser un classifieur lors de la g{\'e}n{\'e}ration pour guider l{'}{\'e}chantillonnage de la distribution du mod{\`e}le de langue vers des textes ayant la propri{\'e}t{\'e} attendue. Dans cet article, nous examinons trois familles de discriminateurs (bas{\'e}s sur des transformers) pour cette t{\^a}che de d{\'e}codage coop{\'e}ratif : les discriminateurs bidirectionnels, unidirectionnels (de gauche {\`a} droite) et g{\'e}n{\'e}ratifs. Nous {\'e}valuons leurs avantages et inconv{\'e}nients, en explorant leur pr{\'e}cision respective sur des t{\^a}ches de classification, ainsi que leur impact sur la g{\'e}n{\'e}ration coop{\'e}rative et leur co{\^u}t de calcul, dans le cadre d{'}une strat{\'e}gie de d{\'e}codage {\'e}tat de l{'}art, bas{\'e}e sur une recherche arborescente de Monte-Carlo (MCTS). Nous fournissons {\'e}galement l{'}impl{\'e}mentation (batch{\'e}e) utilis{\'e}e pour nos exp{\'e}riences.",
language = "French",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="chaffin-etal-2022-choisir">
<titleInfo>
<title>Choisir le bon co-équipier pour la génération coopérative de texte (Choosing The Right Teammate For Cooperative Text Generation)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Antoine</namePart>
<namePart type="family">Chaffin</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Vincent</namePart>
<namePart type="family">Claveau</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Ewa</namePart>
<namePart type="family">Kijak</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Sylvain</namePart>
<namePart type="family">Lamprier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benjamin</namePart>
<namePart type="family">Piwowarski</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Thomas</namePart>
<namePart type="family">Scialom</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jacopo</namePart>
<namePart type="family">Staiano</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2022-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">French</languageTerm>
<languageTerm type="code" authority="iso639-2b">fre</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale</title>
</titleInfo>
<name type="personal">
<namePart type="given">Yannick</namePart>
<namePart type="family">Estève</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Tania</namePart>
<namePart type="family">Jiménez</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Titouan</namePart>
<namePart type="family">Parcollet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Marcely</namePart>
<namePart type="family">Zanon Boito</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Avignon, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Les modèles de langue génèrent des textes en prédisant successivement des distributions de probabilité pour les prochains tokens en fonction des tokens précédents. Pour générer des textes avec des propriétés souhaitées (par ex. être plus naturels, non toxiques ou avoir un style d’écriture spécifique), une solution — le décodage coopératif — consiste à utiliser un classifieur lors de la génération pour guider l’échantillonnage de la distribution du modèle de langue vers des textes ayant la propriété attendue. Dans cet article, nous examinons trois familles de discriminateurs (basés sur des transformers) pour cette tâche de décodage coopératif : les discriminateurs bidirectionnels, unidirectionnels (de gauche à droite) et génératifs. Nous évaluons leurs avantages et inconvénients, en explorant leur précision respective sur des tâches de classification, ainsi que leur impact sur la génération coopérative et leur coût de calcul, dans le cadre d’une stratégie de décodage état de l’art, basée sur une recherche arborescente de Monte-Carlo (MCTS). Nous fournissons également l’implémentation (batchée) utilisée pour nos expériences.</abstract>
<identifier type="citekey">chaffin-etal-2022-choisir</identifier>
<location>
<url>https://aclanthology.org/2022.jeptalnrecital-taln.2</url>
</location>
<part>
<date>2022-6</date>
<extent unit="page">
<start>12</start>
<end>26</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Choisir le bon co-équipier pour la génération coopérative de texte (Choosing The Right Teammate For Cooperative Text Generation)
%A Chaffin, Antoine
%A Claveau, Vincent
%A Kijak, Ewa
%A Lamprier, Sylvain
%A Piwowarski, Benjamin
%A Scialom, Thomas
%A Staiano, Jacopo
%Y Estève, Yannick
%Y Jiménez, Tania
%Y Parcollet, Titouan
%Y Zanon Boito, Marcely
%S Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale
%D 2022
%8 June
%I ATALA
%C Avignon, France
%G French
%F chaffin-etal-2022-choisir
%X Les modèles de langue génèrent des textes en prédisant successivement des distributions de probabilité pour les prochains tokens en fonction des tokens précédents. Pour générer des textes avec des propriétés souhaitées (par ex. être plus naturels, non toxiques ou avoir un style d’écriture spécifique), une solution — le décodage coopératif — consiste à utiliser un classifieur lors de la génération pour guider l’échantillonnage de la distribution du modèle de langue vers des textes ayant la propriété attendue. Dans cet article, nous examinons trois familles de discriminateurs (basés sur des transformers) pour cette tâche de décodage coopératif : les discriminateurs bidirectionnels, unidirectionnels (de gauche à droite) et génératifs. Nous évaluons leurs avantages et inconvénients, en explorant leur précision respective sur des tâches de classification, ainsi que leur impact sur la génération coopérative et leur coût de calcul, dans le cadre d’une stratégie de décodage état de l’art, basée sur une recherche arborescente de Monte-Carlo (MCTS). Nous fournissons également l’implémentation (batchée) utilisée pour nos expériences.
%U https://aclanthology.org/2022.jeptalnrecital-taln.2
%P 12-26
Markdown (Informal)
[Choisir le bon co-équipier pour la génération coopérative de texte (Choosing The Right Teammate For Cooperative Text Generation)](https://aclanthology.org/2022.jeptalnrecital-taln.2) (Chaffin et al., JEP/TALN/RECITAL 2022)
ACL