@inproceedings{fort-etal-2010-evaluer,
title = "{\'E}valuer des annotations manuelles dispers{\'e}es : les coefficients sont-ils suffisants pour estimer l`accord inter-annotateurs ?",
author = {Fort, Kar{\"e}n and
Fran{\c{c}}ois, Claire and
Ghribi, Maha},
editor = "Langlais, Philippe and
Gagnon, Michel",
booktitle = "Actes de la 17e conf{\'e}rence sur le Traitement Automatique des Langues Naturelles. Articles longs",
month = jul,
year = "2010",
address = "Montr{\'e}al, Canada",
publisher = "ATALA",
url = "https://aclanthology.org/2010.jeptalnrecital-long.35/",
pages = "341--350",
language = "fra",
abstract = "L`objectif des travaux pr{\'e}sent{\'e}s dans cet article est l'{\'e}valuation de la qualit{\'e} d`annotations manuelles de relations de renommage de g{\`e}nes dans des r{\'e}sum{\'e}s scientifiques, annotations qui pr{\'e}sentent la caract{\'e}ristique d'{\^e}tre tr{\`e}s dispers{\'e}es. Pour cela, nous avons calcul{\'e} et compar{\'e} les coefficients les plus commun{\'e}ment utilis{\'e}s, entre autres kappa (Cohen, 1960) et pi (Scott, 1955), et avons analys{\'e} dans quelle mesure ils sont adapt{\'e}s {\`a} nos donn{\'e}es. Nous avons {\'e}galement {\'e}tudi{\'e} les diff{\'e}rentes pond{\'e}rations applicables {\`a} ces coefficients permettant de calculer le kappa pond{\'e}r{\'e} (Cohen, 1968) et l`alpha (Krippendorff, 1980, 2004). Nous avons ainsi {\'e}tudi{\'e} le biais induit par la grande pr{\'e}valence d`une cat{\'e}gorie et d{\'e}fini un mode de calcul des distances entre cat{\'e}gories reposant sur les annotations r{\'e}alis{\'e}es."
}
<?xml version="1.0" encoding="UTF-8"?>
<modsCollection xmlns="http://www.loc.gov/mods/v3">
<mods ID="fort-etal-2010-evaluer">
<titleInfo>
<title>Évaluer des annotations manuelles dispersées : les coefficients sont-ils suffisants pour estimer l‘accord inter-annotateurs ?</title>
</titleInfo>
<name type="personal">
<namePart type="given">Karën</namePart>
<namePart type="family">Fort</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Claire</namePart>
<namePart type="family">François</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Maha</namePart>
<namePart type="family">Ghribi</namePart>
<role>
<roleTerm authority="marcrelator" type="text">author</roleTerm>
</role>
</name>
<originInfo>
<dateIssued>2010-07</dateIssued>
</originInfo>
<typeOfResource>text</typeOfResource>
<language>
<languageTerm type="text">fra</languageTerm>
</language>
<relatedItem type="host">
<titleInfo>
<title>Actes de la 17e conférence sur le Traitement Automatique des Langues Naturelles. Articles longs</title>
</titleInfo>
<name type="personal">
<namePart type="given">Philippe</namePart>
<namePart type="family">Langlais</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<name type="personal">
<namePart type="given">Michel</namePart>
<namePart type="family">Gagnon</namePart>
<role>
<roleTerm authority="marcrelator" type="text">editor</roleTerm>
</role>
</name>
<originInfo>
<publisher>ATALA</publisher>
<place>
<placeTerm type="text">Montréal, Canada</placeTerm>
</place>
</originInfo>
<genre authority="marcgt">conference publication</genre>
</relatedItem>
<abstract>L‘objectif des travaux présentés dans cet article est l’évaluation de la qualité d‘annotations manuelles de relations de renommage de gènes dans des résumés scientifiques, annotations qui présentent la caractéristique d’être très dispersées. Pour cela, nous avons calculé et comparé les coefficients les plus communément utilisés, entre autres kappa (Cohen, 1960) et pi (Scott, 1955), et avons analysé dans quelle mesure ils sont adaptés à nos données. Nous avons également étudié les différentes pondérations applicables à ces coefficients permettant de calculer le kappa pondéré (Cohen, 1968) et l‘alpha (Krippendorff, 1980, 2004). Nous avons ainsi étudié le biais induit par la grande prévalence d‘une catégorie et défini un mode de calcul des distances entre catégories reposant sur les annotations réalisées.</abstract>
<identifier type="citekey">fort-etal-2010-evaluer</identifier>
<location>
<url>https://aclanthology.org/2010.jeptalnrecital-long.35/</url>
</location>
<part>
<date>2010-07</date>
<extent unit="page">
<start>341</start>
<end>350</end>
</extent>
</part>
</mods>
</modsCollection>
%0 Conference Proceedings
%T Évaluer des annotations manuelles dispersées : les coefficients sont-ils suffisants pour estimer l‘accord inter-annotateurs ?
%A Fort, Karën
%A François, Claire
%A Ghribi, Maha
%Y Langlais, Philippe
%Y Gagnon, Michel
%S Actes de la 17e conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
%D 2010
%8 July
%I ATALA
%C Montréal, Canada
%G fra
%F fort-etal-2010-evaluer
%X L‘objectif des travaux présentés dans cet article est l’évaluation de la qualité d‘annotations manuelles de relations de renommage de gènes dans des résumés scientifiques, annotations qui présentent la caractéristique d’être très dispersées. Pour cela, nous avons calculé et comparé les coefficients les plus communément utilisés, entre autres kappa (Cohen, 1960) et pi (Scott, 1955), et avons analysé dans quelle mesure ils sont adaptés à nos données. Nous avons également étudié les différentes pondérations applicables à ces coefficients permettant de calculer le kappa pondéré (Cohen, 1968) et l‘alpha (Krippendorff, 1980, 2004). Nous avons ainsi étudié le biais induit par la grande prévalence d‘une catégorie et défini un mode de calcul des distances entre catégories reposant sur les annotations réalisées.
%U https://aclanthology.org/2010.jeptalnrecital-long.35/
%P 341-350
Markdown (Informal)
[Évaluer des annotations manuelles dispersées : les coefficients sont-ils suffisants pour estimer l’accord inter-annotateurs ?](https://aclanthology.org/2010.jeptalnrecital-long.35/) (Fort et al., JEP/TALN/RECITAL 2010)
ACL