CLEF QAST (2007-2009) – Evaluation Package

View resource name in all available languages

CLEF QAST (2007-2009) – Package d’évaluation

ID:

ELRA-E0039

The Cross-Language Evaluation Forum (CLEF) promotes R&D in multilingual information access (MLIA) by (i) developing an infrastructure for the testing, tuning and evaluation of information retrieval systems operating on European languages in both monolingual and cross-language contexts, and (ii) creating test-suites of reusable data which can be employed by system developers for benchmarking purposes.

CLEF QAST (2007-2009) contains the data used for the Question Answering on Speech Transcripts tracks of the CLEF campaigns carried out from 2007 to 2009. These tracks tested the performance of monolingual Question Answering systems on collections of audio transcriptions.

The CLEF Test Suite is composed of:
• Transcript Data Collections
• Questions
• Guidelines
• Relevance assessments
• Official campaign results
• Working notes papers

The Transcript Data Collections consist of manual transcriptions and ASR automatic transcriptions from the following development and evaluation corpora:
• English datasets:
o CHIL Collection (2007-2008 tracks) (see also ELRA-E0009, E0010, E0017 and E0033 for CHIL Evaluation Packages)
o AMI Collection (2007-2008 tracks)
o European Parliament from 2005 TC-STAR Evaluation campaign (2008-2009 tracks) (see also ELRA-E0002)
• Spanish datasets: European Parliament from 2005 TC-STAR Evaluation campaign (2008-2009 tracks) (see also ELRA-E0003)
• French dataset: ESTER Corpus (2008-2009 tracks) (see also ELRA-S0241)

The full package is stored on 1 CD.

View resource description in all available languages

Le forum CLEF (Cross-Language Evaluation Forum) a pour but de promouvoir les travaux de R&D pour l’accès à l’information multilingue (i) en développant une infrastructure pour le test, le réglage et l’évaluation des systèmes de recherche d’information fonctionnant sur des langues européennes dans des contextes à la fois monolingues et cross-lingues, et (ii) en créant des séquences de test de données réutilisables qui peuvent être utilisées par des développeurs de systèmes dans des objectifs de benchmarking.

CLEF QAST (2007-2009) contient les données utilisées pendant les tâches Questions Réponses sur Transcriptions de Parole (Question Answering on Speech Transcripts) des campagnes CLEF réalisées de 2007 à 2009. Ces tâches ont testé la performance de systèmes de questions réponses monolingues sur des collections de transcriptions audio.

Le package CLEF est composé de:
• Collections de données de transcription
• Questions
• Manuels
• Jugements de pertinence
• Résultats de la campagne officielle
• Notes de travail

Les collections de données de transcriptions comprennent les transcriptions manuelles, ainsi que les transcriptions de tâches ASR automatiques provenant des corpus de développement et d’évaluation suivants:
• Anglais:
o Collection CHIL (tâches 2007-2008) (voir aussi ELRA-E0009, E0010, E0017 et E0033 pour les packages d’évaluation CHIL)
o Collection AMI (tâches 2007-2008)
o Parlement européen de la campagne d’évaluation 2005 TC-STAR (tâches 2008-2009) (voir aussi ELRA-E0002)
• Espagnol: European Parliament from 2005 TC-STAR Evaluation campaign (tâches 2008-2009) (voir aussi ELRA-E0003)
• Français: ESTER Corpus (tâches 2008-2009) (voir aussi ELRA-S0241)

Le package complet est stocké sur 1 CD.

You don’t have the permission to edit this resource.
People who looked at this resource also viewed the following:
Resources from the same project