@inproceedings{labeau-allauzen-2018-algorithmes,
title = "Algorithmes {\`a} base d'{\'e}chantillonage pour l`entra{\^i}nement de mod{\`e}les de langue neuronaux (Here the title in {E}nglish)",
author = "Labeau, Matthieu and
Allauzen, Alexandre",
editor = "S{\'e}billot, Pascale and
Claveau, Vincent",
booktitle = "Actes de la Conf{\'e}rence TALN. Volume 1 - Articles longs, articles courts de TALN",
month = "5",
year = "2018",
address = "Rennes, France",
publisher = "ATALA",
url = "https://aclanthology.org/2018.jeptalnrecital-court.29/",
pages = "455--464",
language = "fra",
abstract = "L`estimation contrastive bruit{\'e}e (NCE) et l'{\'e}chantillonage par importance (IS) sont des proc{\'e}dures d`entra{\^i}nement bas{\'e}es sur l'{\'e}chantillonage, que l`on utilise habituellement {\`a} la place de l`estimation du maximum de vraisemblance (MLE) pour {\'e}viter le calcul du softmax lorsque l`on entra{\^i}ne des mod{\`e}les de langue neuronaux. Dans cet article, nous cherchons {\`a} r{\'e}sumer le fonctionnement de ces algorithmes, et leur utilisation dans la litt{\'e}rature du TAL. Nous les comparons exp{\'e}rimentalement, et pr{\'e}sentons des mani{\`e}res de faciliter l`entra{\^i}nement du NCE."
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="labeau-allauzen-2018-algorithmes">
<titleInfo>
<title>Algorithmes à base d’échantillonage pour l‘entraînement de modèles de langue neuronaux (Here the title in English)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Matthieu</namePart>
<namePart type="family">Labeau</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Alexandre</namePart>
<namePart type="family">Allauzen</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2018-05</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la Conférence TALN. Volume 1 - Articles longs, articles courts de TALN</title>
</titleInfo>
<name type="personal">
<namePart type="given">Pascale</namePart>
<namePart type="family">Sébillot</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Vincent</namePart>
<namePart type="family">Claveau</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Rennes, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>L‘estimation contrastive bruitée (NCE) et l’échantillonage par importance (IS) sont des procédures d‘entraînement basées sur l’échantillonage, que l‘on utilise habituellement à la place de l‘estimation du maximum de vraisemblance (MLE) pour éviter le calcul du softmax lorsque l‘on entraîne des modèles de langue neuronaux. Dans cet article, nous cherchons à résumer le fonctionnement de ces algorithmes, et leur utilisation dans la littérature du TAL. Nous les comparons expérimentalement, et présentons des manières de faciliter l‘entraînement du NCE.</abstract>
<identifier type="citekey">labeau-allauzen-2018-algorithmes</identifier>
<location>
<url>https://aclanthology.org/2018.jeptalnrecital-court.29/</url>
</location>
<part>
<date>2018-5</date>
<extent unit="page">
<start>455</start>
<end>464</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Algorithmes à base d’échantillonage pour l‘entraînement de modèles de langue neuronaux (Here the title in English)
%A Labeau, Matthieu
%A Allauzen, Alexandre
%Y Sébillot, Pascale
%Y Claveau, Vincent
%S Actes de la Conférence TALN. Volume 1 - Articles longs, articles courts de TALN
%D 2018
%8 May
%I ATALA
%C Rennes, France
%G fra
%F labeau-allauzen-2018-algorithmes
%X L‘estimation contrastive bruitée (NCE) et l’échantillonage par importance (IS) sont des procédures d‘entraînement basées sur l’échantillonage, que l‘on utilise habituellement à la place de l‘estimation du maximum de vraisemblance (MLE) pour éviter le calcul du softmax lorsque l‘on entraîne des modèles de langue neuronaux. Dans cet article, nous cherchons à résumer le fonctionnement de ces algorithmes, et leur utilisation dans la littérature du TAL. Nous les comparons expérimentalement, et présentons des manières de faciliter l‘entraînement du NCE.
%U https://aclanthology.org/2018.jeptalnrecital-court.29/
%P 455-464
Markdown (Informal)
[Algorithmes à base d’échantillonage pour l’entraînement de modèles de langue neuronaux (Here the title in English)](https://aclanthology.org/2018.jeptalnrecital-court.29/) (Labeau & Allauzen, JEP/TALN/RECITAL 2018)
ACL