2012
pdf
bib
Manual Corpus Annotation: Giving Meaning to the Evaluation Metrics
Yann Mathet
|
Antoine Widlöcher
|
Karën Fort
|
Claire François
|
Olivier Galibert
|
Cyril Grouin
|
Juliette Kahn
|
Sophie Rosset
|
Pierre Zweigenbaum
Proceedings of COLING 2012: Posters
pdf
bib
abs
Analyzing the Impact of Prevalence on the Evaluation of a Manual Annotation Campaign
Karën Fort
|
Claire François
|
Olivier Galibert
|
Maha Ghribi
Proceedings of the Eighth International Conference on Language Resources and Evaluation (LREC'12)
This article details work aiming at evaluating the quality of the manual annotation of gene renaming couples in scientific abstracts, which generates sparse annotations. To evaluate these annotations, we compare the results obtained using the commonly advocated inter-annotator agreement coefficients such as S, κ and Ï, the less known R, the weighted coefficients κÏ and α as well as the F-measure and the SER. We analyze to which extent they are relevant for our data. We then study the bias introduced by prevalence by changing the way the contingency table is built. We finally propose an original way to synthesize the results by computing distances between categories, based on the produced annotations.
2010
pdf
bib
abs
Évaluer des annotations manuelles dispersées : les coefficients sont-ils suffisants pour estimer l’accord inter-annotateurs ?
Karën Fort
|
Claire François
|
Maha Ghribi
Actes de la 17e conférence sur le Traitement Automatique des Langues Naturelles. Articles longs
L’objectif des travaux présentés dans cet article est l’évaluation de la qualité d’annotations manuelles de relations de renommage de gènes dans des résumés scientifiques, annotations qui présentent la caractéristique d’être très dispersées. Pour cela, nous avons calculé et comparé les coefficients les plus communément utilisés, entre autres kappa (Cohen, 1960) et pi (Scott, 1955), et avons analysé dans quelle mesure ils sont adaptés à nos données. Nous avons également étudié les différentes pondérations applicables à ces coefficients permettant de calculer le kappa pondéré (Cohen, 1968) et l’alpha (Krippendorff, 1980, 2004). Nous avons ainsi étudié le biais induit par la grande prévalence d’une catégorie et défini un mode de calcul des distances entre catégories reposant sur les annotations réalisées.
2003
pdf
bib
Intelligent Patent Analysis through the Use of a Neural Network: Experiment of Multi-Viewpoint Analysis with the MultiSOM Model
Jean-Charles Lamirel
|
Shadi Al Shehabi
|
Martial Hoffmann
|
Claire Francois
Proceedings of the ACL-2003 Workshop on Patent Corpus Processing