@inproceedings{chaffin-etal-2022-decodage,
title = "D{\'e}codage guid{\'e} par un discriminateur avec le {M}onte {C}arlo Tree Search pour la g{\'e}n{\'e}ration de texte contrainte (Discriminator-guided decoding with {M}onte {C}arlo Tree Search for constrained text generation )",
author = "Chaffin, Antoine and
Claveau, Vincent and
Kijak, Ewa",
editor = "Est{\`e}ve, Yannick and
Jim{\'e}nez, Tania and
Parcollet, Titouan and
Zanon Boito, Marcely",
booktitle = "Actes de la 29e Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf{\'e}rence principale",
month = "6",
year = "2022",
address = "Avignon, France",
publisher = "ATALA",
url = "https://aclanthology.org/2022.jeptalnrecital-taln.3",
pages = "27--41",
abstract = "Dans cet article, nous explorons comment contr{\^o}ler la g{\'e}n{\'e}ration de texte au moment du d{\'e}codage pour satisfaire certaines contraintes (e.g. {\^e}tre non toxique, transmettre certaines {\'e}motions...), sans n{\'e}cessiter de r{\'e}-entrainer le mod{\`e}le de langue. Pour cela, nous formalisons la g{\'e}n{\'e}ration sous contrainte comme un processus d{'}exploration d{'}arbre guid{\'e} par un discriminateur qui indique dans quelle mesure la s{\'e}quence associ{\'e}e respecte la contrainte. Nous proposons plusieurs m{\'e}thodes originales pour explorer cet arbre de g{\'e}n{\'e}ration, notamment le Monte Carlo Tree Search (MCTS) qui fournit des garanties th{\'e}oriques sur l{'}efficacit{\'e} de la recherche. Au travers d{'}exp{\'e}riences sur 3 jeux de donn{\'e}es et 2 langues, nous montrons que le d{\'e}codage par MCTS guid{\'e} par les discriminateurs permet d{'}obtenir des r{\'e}sultats {\`a} l{'}{\'e}tat-de-l{'}art. Nous d{\'e}montrons {\'e}galement que d{'}autres m{\'e}thodes de d{\'e}codage que nous proposons, bas{\'e}es sur le re-ordonnancement, peuvent {\^e}tre r{\'e}ellement efficaces lorsque la diversit{\'e} parmi les propositions g{\'e}n{\'e}r{\'e}es est encourag{\'e}e.",
language = "French",
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="chaffin-etal-2022-decodage">
<titleInfo>
<title>Décodage guidé par un discriminateur avec le Monte Carlo Tree Search pour la génération de texte contrainte (Discriminator-guided decoding with Monte Carlo Tree Search for constrained text generation )</title>
</titleInfo>
<name type="personal">
<namePart type="given">Antoine</namePart>
<namePart type="family">Chaffin</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Vincent</namePart>
<namePart type="family">Claveau</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Ewa</namePart>
<namePart type="family">Kijak</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2022-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">French</languageTerm>
<languageTerm type="code" authority="iso639-2b">fre</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale</title>
</titleInfo>
<name type="personal">
<namePart type="given">Yannick</namePart>
<namePart type="family">Estève</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Tania</namePart>
<namePart type="family">Jiménez</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Titouan</namePart>
<namePart type="family">Parcollet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Marcely</namePart>
<namePart type="family">Zanon Boito</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Avignon, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Dans cet article, nous explorons comment contrôler la génération de texte au moment du décodage pour satisfaire certaines contraintes (e.g. être non toxique, transmettre certaines émotions...), sans nécessiter de ré-entrainer le modèle de langue. Pour cela, nous formalisons la génération sous contrainte comme un processus d’exploration d’arbre guidé par un discriminateur qui indique dans quelle mesure la séquence associée respecte la contrainte. Nous proposons plusieurs méthodes originales pour explorer cet arbre de génération, notamment le Monte Carlo Tree Search (MCTS) qui fournit des garanties théoriques sur l’efficacité de la recherche. Au travers d’expériences sur 3 jeux de données et 2 langues, nous montrons que le décodage par MCTS guidé par les discriminateurs permet d’obtenir des résultats à l’état-de-l’art. Nous démontrons également que d’autres méthodes de décodage que nous proposons, basées sur le re-ordonnancement, peuvent être réellement efficaces lorsque la diversité parmi les propositions générées est encouragée.</abstract>
<identifier type="citekey">chaffin-etal-2022-decodage</identifier>
<location>
<url>https://aclanthology.org/2022.jeptalnrecital-taln.3</url>
</location>
<part>
<date>2022-6</date>
<extent unit="page">
<start>27</start>
<end>41</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Décodage guidé par un discriminateur avec le Monte Carlo Tree Search pour la génération de texte contrainte (Discriminator-guided decoding with Monte Carlo Tree Search for constrained text generation )
%A Chaffin, Antoine
%A Claveau, Vincent
%A Kijak, Ewa
%Y Estève, Yannick
%Y Jiménez, Tania
%Y Parcollet, Titouan
%Y Zanon Boito, Marcely
%S Actes de la 29e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale
%D 2022
%8 June
%I ATALA
%C Avignon, France
%G French
%F chaffin-etal-2022-decodage
%X Dans cet article, nous explorons comment contrôler la génération de texte au moment du décodage pour satisfaire certaines contraintes (e.g. être non toxique, transmettre certaines émotions...), sans nécessiter de ré-entrainer le modèle de langue. Pour cela, nous formalisons la génération sous contrainte comme un processus d’exploration d’arbre guidé par un discriminateur qui indique dans quelle mesure la séquence associée respecte la contrainte. Nous proposons plusieurs méthodes originales pour explorer cet arbre de génération, notamment le Monte Carlo Tree Search (MCTS) qui fournit des garanties théoriques sur l’efficacité de la recherche. Au travers d’expériences sur 3 jeux de données et 2 langues, nous montrons que le décodage par MCTS guidé par les discriminateurs permet d’obtenir des résultats à l’état-de-l’art. Nous démontrons également que d’autres méthodes de décodage que nous proposons, basées sur le re-ordonnancement, peuvent être réellement efficaces lorsque la diversité parmi les propositions générées est encouragée.
%U https://aclanthology.org/2022.jeptalnrecital-taln.3
%P 27-41
Markdown (Informal)
[Décodage guidé par un discriminateur avec le Monte Carlo Tree Search pour la génération de texte contrainte (Discriminator-guided decoding with Monte Carlo Tree Search for constrained text generation )](https://aclanthology.org/2022.jeptalnrecital-taln.3) (Chaffin et al., JEP/TALN/RECITAL 2022)
ACL