Home
81
ESTER Evaluation Package 
View resource name in all available languages
Package d’évaluation ESTER
ID:
ELRA-E0021
The ESTER Evaluation Package was produced within the French national project ESTER (Evaluation of Broadcast News enriched transcription systems), as part of the Technolangue programme funded by the French Ministry of Research and New Technologies (MRNT). The ESTER project enabled to carry out a campaign for the evaluation of Broadcast News enriched transcription systems using French data. This project is an extension of the only campaign that was ever carried out for French in this field within the AUPELF campaigns (Actions de recherche Concertées, 1996-1999).
This package includes the material that was used for the ESTER evaluation campaign. It includes resources, protocols, scoring tools, results of the campaign, etc., that were used or produced during the campaign. The aim of these evaluation packages is to enable external players to evaluate their own system and compare their results with those obtained during the campaign itself.
The campaign is distributed over three actions:
1) Orthographic transcription: it consists in producing an orthographic transcription of radio-broadcast news, which quality is measured by word error rates. There are two distinct tasks, one with and one without calculation time constraint.
2) Segmentation: the segmentation tasks consist of segmentation in sound events, speaker tracking and speaker segmentation. For the sound event segmentation, the task consists of tracking the parts which contain music (with or without speech) and the parts which contain speech (with or without music). The speaker tracking task consists in detecting the parts of the document that correspond to a given speaker. The speaker segmentation consists of segmenting the document in speakers and grouping the parts spoken by the same speaker.
3) Information extraction: it consists of an exploratory task on named entity tracking. The objective was to set up and test an evaluation protocol instead of measure performances. The systems must detect eight classes of entities (person, place, data, organisation, geo-political entity, amount, building and unknown) from the automatic transcription or the manual transcription.
The ESTER evaluation package contains the following data and tools:
1) About 100 hours of orthographically transcribed news broadcast, including annotations of named entities.
2) The textual resources distributed within the ESTER campain are mainly based on the archives from Le Monde newspaper 1987-2003 (ELRA-W0015) and the debates from the European Parliament (ELRA-W0023).
3) The evaluation tools allow to evaluation each task defined above.
4) Two guides and manuals were produced and are provided in the package distributed by ELDA :
o Guide for the annotation of named entities
o Specifications and evaluation protocol
A description of the project is available at the following address:
http://www.technolangue.net/article.php3?id_article=60 (in French language)
An extra corpus of 1,700 hours of non-transcribed radio broadcast news recordings can also be provided upon request, on hard disk, as an adding to this package at a cost of 100 Euro (plus shipment fee).
For research or commercial use, please refer to ELRA-S0241 ESTER Corpus.
View resource description in all available languages
Le package d’évaluation ESTER a été produit dans le cadre du projet national français ESTER (« Evaluation des systèmes de transcription enrichie d’émissions radiophoniques »), issu du programme Technolangue, financé par le Ministère français délégué à la Recherche et aux Nouvelles Technologies (MRNT). Le projet ESTER a permis de réaliser une campagne d'évaluation des systèmes de transcription enrichie d’émissions radiophoniques pour le français. Le projet se situe en partie dans la continuité de la seule campagne de ce type qui ait été conduite, dans le cadre des Actions de recherche Concertées de l'AUPELF (1996-1999).
Ce package comprend l’ensemble des données utilisées lors de la campagne d’évaluation ESTER. Il regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la campagne. Le but de ce « package » d’évaluation est de permettre à tout acteur externe de pouvoir évaluer son propre système et ainsi de pouvoir comparer ses résultats à ceux obtenus pendant la campagne.
La campagne se décompose en trois tâches:
1) Transcription orthographique : il s'agit de produire une transcription orthographique de l'émission radio, dont la qualité est mesurée par le taux d'erreurs de mots. Deux tâches ont été distinguées, avec ou sans contrainte de temps de calcul.
2) Segmentation : les tâches de segmentation se décomposent en segmentation en événements sonores, suivi de locuteurs et segmentation en locuteurs. Pour la segmentation en événements sonores, la tâche consiste à détecter les parties contenant de la musique (avec ou sans parole) d’une part et les parties comprenant de la parole (avec ou sans musique). La tâche de suivi de locuteur consiste à détecter les parties du document correspondant à un locuteur donné. La segmentation en locuteurs consiste à segmenter le document en locuteurs et regrouper les parties parlées par le même locuteur.
3) Extraction d’information : il s'agit d’une tâche expérimentale sur la détection d'entités nommées. Le but était de mettre en place et tester un protocole d’évaluation plutôt que de mesurer les performances. Les systèmes doivent détecter huit classes d’entités (personne, lieu, date, organisation, entité géo-politique, montant, bâtiment et inconnu) à partir de la transcription automatique ou de la transcription manuelle.
Le package d’évaluation ESTER contient les données et outils suivants :
1) Environ 100 heures d’émissions transcrites orthographiquement et annotées en entités nommées.
2) Les ressources textuelles distribuées dans le cadre de la campagne ESTER reposent essentiellement sur les archives du journal Le Monde 1987-2003 (ELRA-W0015) et du corpus des débats du Parlement européen (ELRA-W0023).
3) Les outils d'évaluation permettant d'évaluer chacune des tâches définies ci-dessus.
4) Des guides et manuels ont été produits et sont fournis dans le package distribué par ELDA :
o Guide d’annotation en entités nommées
o Spécifications et protocole d’évaluations
Une description du projet est disponible à l'adresse suivante :
http://www.technolangue.net/article.php3?id_article=60
Un corpus supplémentaire de 1700 heures d’enregistrements d’émissions radiophoniques non transcrites peut être fourni sur disque dur en complément de ce package pour un coût de 100 Euros (plus frais de port).
Pour un usage de recherche ou commercial, veuillez vous référer au corpus ESTER ELRA-S0241.
People who looked at this resource also viewed the following: