@inproceedings{simoulin-crabbe-2021-un,
title = "Un mod{\`e}le Transformer G{\'e}n{\'e}ratif Pr{\'e}-entrain{\'e} pour le{\_}{\_}{\_}{\_}{\_}{\_} fran{\c{c}}ais (Generative Pre-trained Transformer in{\_}{\_}{\_}{\_}{\_}{\_} ({F}rench) We introduce a {F}rench adaptation from the well-known {GPT} model)",
author = "Simoulin, Antoine and
Crabb{\'e}, Benoit",
editor = "Denis, Pascal and
Grabar, Natalia and
Fraisse, Amel and
Cardon, R{\'e}mi and
Jacquemin, Bernard and
Kergosien, Eric and
Balvet, Antonio",
booktitle = "Actes de la 28e Conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conf{\'e}rence principale",
month = "6",
year = "2021",
address = "Lille, France",
publisher = "ATALA",
url = "https://aclanthology.org/2021.jeptalnrecital-taln.24/",
pages = "246--255",
language = "fra",
abstract = "Nous proposons une adaptation en fran{\c{c}}ais du fameux mod{\`e}le Generative Pre-trained Transformer (GPT). Ce dernier appartient {\`a} la cat{\'e}gorie des architectures transformers qui ont significativement transform{\'e} les m{\'e}thodes de traitement automatique du langage. Ces architectures sont en particulier pr{\'e}-entra{\^i}n{\'e}es sur des t{\^a}ches auto-supervis{\'e}es et sont ainsi sp{\'e}cifiques pour une langue donn{\'e}e. Si certaines sont disponibles en fran{\c{c}}ais, la plupart se d{\'e}clinent avant tout en anglais. GPT est particuli{\`e}rement efficace pour les t{\^a}ches de g{\'e}n{\'e}ration de texte. Par ailleurs, il est possible de l`appliquer {\`a} de nombreux cas d`usages. Ses propri{\'e}t{\'e}s g{\'e}n{\'e}ratives singuli{\`e}res permettent de l`utiliser dans des conditions originales comme l`apprentissage sans exemple qui ne suppose aucune mise {\`a} jour des poids du mod{\`e}le, ou modification de l`architecture."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="simoulin-crabbe-2021-un">
<titleInfo>
<title>Un modèle Transformer Génératif Pré-entrainé pour le______ français (Generative Pre-trained Transformer in______ (French) We introduce a French adaptation from the well-known GPT model)</title>
</titleInfo>
<name type="personal">
<namePart type="given">Antoine</namePart>
<namePart type="family">Simoulin</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Benoit</namePart>
<namePart type="family">Crabbé</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2021-06</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale</title>
</titleInfo>
<name type="personal">
<namePart type="given">Pascal</namePart>
<namePart type="family">Denis</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Natalia</namePart>
<namePart type="family">Grabar</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Amel</namePart>
<namePart type="family">Fraisse</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Rémi</namePart>
<namePart type="family">Cardon</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Bernard</namePart>
<namePart type="family">Jacquemin</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Eric</namePart>
<namePart type="family">Kergosien</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Antonio</namePart>
<namePart type="family">Balvet</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Lille, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Nous proposons une adaptation en français du fameux modèle Generative Pre-trained Transformer (GPT). Ce dernier appartient à la catégorie des architectures transformers qui ont significativement transformé les méthodes de traitement automatique du langage. Ces architectures sont en particulier pré-entraînées sur des tâches auto-supervisées et sont ainsi spécifiques pour une langue donnée. Si certaines sont disponibles en français, la plupart se déclinent avant tout en anglais. GPT est particulièrement efficace pour les tâches de génération de texte. Par ailleurs, il est possible de l‘appliquer à de nombreux cas d‘usages. Ses propriétés génératives singulières permettent de l‘utiliser dans des conditions originales comme l‘apprentissage sans exemple qui ne suppose aucune mise à jour des poids du modèle, ou modification de l‘architecture.</abstract>
<identifier type="citekey">simoulin-crabbe-2021-un</identifier>
<location>
<url>https://aclanthology.org/2021.jeptalnrecital-taln.24/</url>
</location>
<part>
<date>2021-6</date>
<extent unit="page">
<start>246</start>
<end>255</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Un modèle Transformer Génératif Pré-entrainé pour le______ français (Generative Pre-trained Transformer in______ (French) We introduce a French adaptation from the well-known GPT model)
%A Simoulin, Antoine
%A Crabbé, Benoit
%Y Denis, Pascal
%Y Grabar, Natalia
%Y Fraisse, Amel
%Y Cardon, Rémi
%Y Jacquemin, Bernard
%Y Kergosien, Eric
%Y Balvet, Antonio
%S Actes de la 28e Conférence sur le Traitement Automatique des Langues Naturelles. Volume 1 : conférence principale
%D 2021
%8 June
%I ATALA
%C Lille, France
%G fra
%F simoulin-crabbe-2021-un
%X Nous proposons une adaptation en français du fameux modèle Generative Pre-trained Transformer (GPT). Ce dernier appartient à la catégorie des architectures transformers qui ont significativement transformé les méthodes de traitement automatique du langage. Ces architectures sont en particulier pré-entraînées sur des tâches auto-supervisées et sont ainsi spécifiques pour une langue donnée. Si certaines sont disponibles en français, la plupart se déclinent avant tout en anglais. GPT est particulièrement efficace pour les tâches de génération de texte. Par ailleurs, il est possible de l‘appliquer à de nombreux cas d‘usages. Ses propriétés génératives singulières permettent de l‘utiliser dans des conditions originales comme l‘apprentissage sans exemple qui ne suppose aucune mise à jour des poids du modèle, ou modification de l‘architecture.
%U https://aclanthology.org/2021.jeptalnrecital-taln.24/
%P 246-255
Markdown (Informal)
[Un modèle Transformer Génératif Pré-entrainé pour le______ français (Generative Pre-trained Transformer in______ (French) We introduce a French adaptation from the well-known GPT model)](https://aclanthology.org/2021.jeptalnrecital-taln.24/) (Simoulin & Crabbé, JEP/TALN/RECITAL 2021)
ACL