@inproceedings{labeau-allauzen-2017-representations,
title = "Repr{\'e}sentations continues d{\'e}riv{\'e}es des caract{\`e}res pour un mod{\`e}le de langue neuronal {\`a} vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations)",
author = "Labeau, Matthieu and
Allauzen, Alexandre",
editor = "Eshkol-Taravella, Iris and
Antoine, Jean-Yves",
booktitle = "Actes des 24{\`e}me Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Volume 1 - Articles longs",
month = "6",
year = "2017",
address = "Orl{\'e}ans, France",
publisher = "ATALA",
url = "https://aclanthology.org/2017.jeptalnrecital-long.3/",
pages = "32--46",
language = "fra",
abstract = "Cet article propose une architecture neuronale pour un mod{\`e}le de langue {\`a} vocabulaire ouvert. Les repr{\'e}sentations continues des mots sont calcul{\'e}es {\`a} la vol{\'e}e {\`a} partir des caract{\`e}res les composant, gr{\`a}ce {\`a} une couche convolutionnelle suivie d`une couche de regroupement (pooling). Cela permet au mod{\`e}le de repr{\'e}senter n`importe quel mot, qu`il fasse partie du contexte ou soit {\'e}valu{\'e} pour la pr{\'e}diction. La fonction objectif est d{\'e}riv{\'e}e de l`estimation contrastive bruit{\'e}e (Noise Contrastive Estimation, ou NCE), calculable dans notre cas sans vocabulaire. Nous {\'e}valuons la capacit{\'e} de notre mod{\`e}le {\`a} construire des repr{\'e}sentations continues de mots inconnus sur la t{\^a}che de traduction automatique IWSLT-2016, de l`Anglais vers le Tch{\`e}que, en r{\'e}-{\'e}valuant les N meilleures hypoth{\`e}ses (N-best reranking). Les r{\'e}sultats exp{\'e}rimentaux permettent des gains jusqu'{\`a} 0,7 point BLEU. Ils montrent aussi la difficult{\'e} d`utiliser des repr{\'e}sentations d{\'e}riv{\'e}es des caract{\`e}res pour la pr{\'e}diction."
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="labeau-allauzen-2017-representations">
<titleInfo>
<title>Représentations continues dérivées des caractères pour un modèle de langue neuronal à vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Matthieu</namePart>
<namePart type="family">Labeau</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Alexandre</namePart>
<namePart type="family">Allauzen</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2017-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes des 24ème Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 - Articles longs</title>
</titleInfo>
<name type="personal">
<namePart type="given">Iris</namePart>
<namePart type="family">Eshkol-Taravella</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jean-Yves</namePart>
<namePart type="family">Antoine</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Orléans, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Cet article propose une architecture neuronale pour un modèle de langue à vocabulaire ouvert. Les représentations continues des mots sont calculées à la volée à partir des caractères les composant, gràce à une couche convolutionnelle suivie d‘une couche de regroupement (pooling). Cela permet au modèle de représenter n‘importe quel mot, qu‘il fasse partie du contexte ou soit évalué pour la prédiction. La fonction objectif est dérivée de l‘estimation contrastive bruitée (Noise Contrastive Estimation, ou NCE), calculable dans notre cas sans vocabulaire. Nous évaluons la capacité de notre modèle à construire des représentations continues de mots inconnus sur la tâche de traduction automatique IWSLT-2016, de l‘Anglais vers le Tchèque, en ré-évaluant les N meilleures hypothèses (N-best reranking). Les résultats expérimentaux permettent des gains jusqu’à 0,7 point BLEU. Ils montrent aussi la difficulté d‘utiliser des représentations dérivées des caractères pour la prédiction.</abstract>
<identifier type="citekey">labeau-allauzen-2017-representations</identifier>
<location>
<url>https://aclanthology.org/2017.jeptalnrecital-long.3/</url>
</location>
<part>
<date>2017-6</date>
<extent unit="page">
<start>32</start>
<end>46</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Représentations continues dérivées des caractères pour un modèle de langue neuronal à vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations)
%A Labeau, Matthieu
%A Allauzen, Alexandre
%Y Eshkol-Taravella, Iris
%Y Antoine, Jean-Yves
%S Actes des 24ème Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 - Articles longs
%D 2017
%8 June
%I ATALA
%C Orléans, France
%G fra
%F labeau-allauzen-2017-representations
%X Cet article propose une architecture neuronale pour un modèle de langue à vocabulaire ouvert. Les représentations continues des mots sont calculées à la volée à partir des caractères les composant, gràce à une couche convolutionnelle suivie d‘une couche de regroupement (pooling). Cela permet au modèle de représenter n‘importe quel mot, qu‘il fasse partie du contexte ou soit évalué pour la prédiction. La fonction objectif est dérivée de l‘estimation contrastive bruitée (Noise Contrastive Estimation, ou NCE), calculable dans notre cas sans vocabulaire. Nous évaluons la capacité de notre modèle à construire des représentations continues de mots inconnus sur la tâche de traduction automatique IWSLT-2016, de l‘Anglais vers le Tchèque, en ré-évaluant les N meilleures hypothèses (N-best reranking). Les résultats expérimentaux permettent des gains jusqu’à 0,7 point BLEU. Ils montrent aussi la difficulté d‘utiliser des représentations dérivées des caractères pour la prédiction.
%U https://aclanthology.org/2017.jeptalnrecital-long.3/
%P 32-46
Markdown (Informal)
[Représentations continues dérivées des caractères pour un modèle de langue neuronal à vocabulaire ouvert (Opening the vocabulary of neural language models with character-level word representations)](https://aclanthology.org/2017.jeptalnrecital-long.3/) (Labeau & Allauzen, JEP/TALN/RECITAL 2017)
ACL