@inproceedings{caubriere-gauthier-2024-representation,
title = "Repr{\'e}sentation de la parole multilingue par apprentissage auto-supervis{\'e} dans un contexte subsaharien",
author = "Caubri{\`e}re, Antoine and
Gauthier, Elodie",
editor = "Balaguer, Mathieu and
Bendahman, Nihed and
Ho-dac, Lydia-Mai and
Mauclair, Julie and
G Moreno, Jose and
Pinquier, Julien",
booktitle = "Actes des 35{\`e}mes Journ{\'e}es d'{\'E}tudes sur la Parole",
month = "7",
year = "2024",
address = "Toulouse, France",
publisher = "ATALA and AFPC",
url = "https://aclanthology.org/2024.jeptalnrecital-jep.17/",
pages = "163--172",
language = "fra",
abstract = "Les approches auto-supervis{\'e}es ont conduit {\`a} des avanc{\'e}es majeures dans le domaine de l`apprentissage profond. Par l`exploitation d`une grande quantit{\'e} de donn{\'e}es non annot{\'e}es, ces approches ont notamment permis des am{\'e}liorations dans des contextes peu dot{\'e}s. Toutefois, les langues africaines restent majoritairement sous-repr{\'e}sent{\'e}es dans les jeux de donn{\'e}es de pr{\'e}entra{\^i}nement publiquement distribu{\'e}s. Dans ces travaux, nous pr{\'e}entra{\^i}nons des mod{\`e}les de parole auto-supervis{\'e}s multilingues {\`a} partir de langues subsahariennes exclusivement. Nous {\'e}tudions la pertinence des repr{\'e}sentations apprises sur la t{\^a}che de reconnaissance de parole, en utilisant le jeu d'{\'e}valuation FLEURS-102. Notre mod{\`e}le HuBERT Base obtient des r{\'e}sultats similaires face {\`a} l`approche multilingue w2v-bert de FLEURS, tout en {\'e}tant plus efficient, avec 6 fois moins de param{\`e}tres et 7 fois moins de donn{\'e}es. Nous pr{\'e}sentont aussi un second mod{\`e}le exploitant une sous-s{\'e}lection {\'e}quilibr{\'e}e des donn{\'e}es initiales, obtenant des performances comp{\'e}titives avec pr{\`e}s de 80 fois moins de donn{\'e}es de pr{\'e}entra{\^i}nement."
}<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="caubriere-gauthier-2024-representation">
<titleInfo>
<title>Représentation de la parole multilingue par apprentissage auto-supervisé dans un contexte subsaharien</title>
</titleInfo>
<name type="personal">
<namePart type="given">Antoine</namePart>
<namePart type="family">Caubrière</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Elodie</namePart>
<namePart type="family">Gauthier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2024-07</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes des 35èmes Journées d’Études sur la Parole</title>
</titleInfo>
<name type="personal">
<namePart type="given">Mathieu</namePart>
<namePart type="family">Balaguer</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Nihed</namePart>
<namePart type="family">Bendahman</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Lydia-Mai</namePart>
<namePart type="family">Ho-dac</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Julie</namePart>
<namePart type="family">Mauclair</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Jose</namePart>
<namePart type="family">G Moreno</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Julien</namePart>
<namePart type="family">Pinquier</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA and AFPC</publisher>
<place>
<placeTerm type="text">Toulouse, France</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>Les approches auto-supervisées ont conduit à des avancées majeures dans le domaine de l‘apprentissage profond. Par l‘exploitation d‘une grande quantité de données non annotées, ces approches ont notamment permis des améliorations dans des contextes peu dotés. Toutefois, les langues africaines restent majoritairement sous-représentées dans les jeux de données de préentraînement publiquement distribués. Dans ces travaux, nous préentraînons des modèles de parole auto-supervisés multilingues à partir de langues subsahariennes exclusivement. Nous étudions la pertinence des représentations apprises sur la tâche de reconnaissance de parole, en utilisant le jeu d’évaluation FLEURS-102. Notre modèle HuBERT Base obtient des résultats similaires face à l‘approche multilingue w2v-bert de FLEURS, tout en étant plus efficient, avec 6 fois moins de paramètres et 7 fois moins de données. Nous présentont aussi un second modèle exploitant une sous-sélection équilibrée des données initiales, obtenant des performances compétitives avec près de 80 fois moins de données de préentraînement.</abstract>
<identifier type="citekey">caubriere-gauthier-2024-representation</identifier>
<location>
<url>https://aclanthology.org/2024.jeptalnrecital-jep.17/</url>
</location>
<part>
<date>2024-7</date>
<extent unit="page">
<start>163</start>
<end>172</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Représentation de la parole multilingue par apprentissage auto-supervisé dans un contexte subsaharien
%A Caubrière, Antoine
%A Gauthier, Elodie
%Y Balaguer, Mathieu
%Y Bendahman, Nihed
%Y Ho-dac, Lydia-Mai
%Y Mauclair, Julie
%Y G Moreno, Jose
%Y Pinquier, Julien
%S Actes des 35èmes Journées d’Études sur la Parole
%D 2024
%8 July
%I ATALA and AFPC
%C Toulouse, France
%G fra
%F caubriere-gauthier-2024-representation
%X Les approches auto-supervisées ont conduit à des avancées majeures dans le domaine de l‘apprentissage profond. Par l‘exploitation d‘une grande quantité de données non annotées, ces approches ont notamment permis des améliorations dans des contextes peu dotés. Toutefois, les langues africaines restent majoritairement sous-représentées dans les jeux de données de préentraînement publiquement distribués. Dans ces travaux, nous préentraînons des modèles de parole auto-supervisés multilingues à partir de langues subsahariennes exclusivement. Nous étudions la pertinence des représentations apprises sur la tâche de reconnaissance de parole, en utilisant le jeu d’évaluation FLEURS-102. Notre modèle HuBERT Base obtient des résultats similaires face à l‘approche multilingue w2v-bert de FLEURS, tout en étant plus efficient, avec 6 fois moins de paramètres et 7 fois moins de données. Nous présentont aussi un second modèle exploitant une sous-sélection équilibrée des données initiales, obtenant des performances compétitives avec près de 80 fois moins de données de préentraînement.
%U https://aclanthology.org/2024.jeptalnrecital-jep.17/
%P 163-172
Markdown (Informal)
[Représentation de la parole multilingue par apprentissage auto-supervisé dans un contexte subsaharien](https://aclanthology.org/2024.jeptalnrecital-jep.17/) (Caubrière & Gauthier, JEP/TALN/RECITAL 2024)
ACL