Home
87
EQueR Evaluation Package 
View resource name in all available languages
Package d’évaluation EQueR
ID:
ELRA-E0022
The EQueR Evaluation Package was produced within the French national project EQueR (Evaluation campaign for Question-Answering systems), as part of the Technolangue programme funded by the French Ministry of Research and New Technologies (MRNT). The EQueR project enabled to carry out a campaign for the evaluation of Question-Answering systems in French.
This package includes the material that was used for the EQueR evaluation campaign. It includes resources, protocols, scoring tools, results of the campaign, etc., that were used or produced during the campaign. The aim of these evaluation packages is to enable external players to evaluate their own system and compare their results with those obtained during the campaign itself.
The campaign is distributed over two actions:
1) Generic task: it consists in evaluating the performances of question-answering systems on a collection of heterogeneous texts.
2) Specialised task: it consists in evaluating the performances of question-answering systems on a collection of texts from the medical domain.
The EQueR evaluation package contains the following data and tools:
1) Two text collections:
- General corpus: about 1.5 Gb of data consisting of news articles of several years from Le Monde and Le Monde Diplomatique, press releases and information reports from the French Senate dealing with various subjects.
- Medical corpus: about 140 Mb of data mainly consisting of scientific articles and guidelines for good medical practice, selected by the CISMeF (Catalogue et Index des Sites Médicaux Francophones) from the University Hospital Centre of Rouen.
1) Two corpora of questions :
- 500 questions for the generic task and 200 questions for the specialised task.
- For each question in the two corpora, the first 100 identifiers are provided (from Pertimm’s search engine).
2) Two Pertimm’ sub-corpora, created from the document identifiers and returned by the search engine.
3) The whole results provided by the participants.
4) A help software for the evaluation of results within the evaluation of question-answering systems (with detailed documentation).
A description of the project is available at the following address:
http://www.technolangue.net/article.php3?id_article=195 (in French language)
View resource description in all available languages
Le package d’évaluation EQueR a été produit dans le cadre du projet national français EQueR (« Evaluation en Question-Réponse »), issu du programme Technolangue, financé par le Ministère français délégué à la Recherche et aux Nouvelles Technologies (MRNT). Le projet EQueR a permis de réaliser une campagne d'évaluation des systèmes de question-réponse pour le français.
Ce package comprend l’ensemble des données utilisées lors de la campagne d’évaluation EQueR. Il regroupe des ressources, des protocoles, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la campagne. Le but de ce « package » d’évaluation est de permettre à tout acteur externe de pouvoir évaluer son propre système et ainsi, de pouvoir comparer ses résultats à ceux obtenus pendant la campagne.
La campagne se décompose en deux actions :
1) Une tâche générique : consiste à évaluer les performances des systèmes de question-réponse sur une collection hétérogène de textes.
2) Une tâche spécialisée : consiste à évaluer les performances des systèmes de question-réponse sur une collection de textes du domaine médical.
Le package d’évaluation EQueR contient les données et outils suivants :
1) Deux collections textuelles:
- corpus général : environ 1,5 Go de données composées d’articles de presse de plusieurs années des journaux Le Monde et Le Monde Diplomatique, de dépêches de presse et de rapports d’information du Sénat français portant sur des sujets très variés.
- corpus médical : environ 140 Mo de données composées principalement d’articles scientifiques et de recommandations de bonne pratique médicale, sélectionnés par le CISMeF (Catalogue et Index des Sites Médicaux Francophones) du Centre Hospitalier Universitaire de Rouen.
2) Deux corpus de questions :
- 500 questions pour la tâche générique et 200 questions pour la tâche spécialisée.
- pour chaque question des deux corpus, les 100 premiers identifiants sont fournis (par le moteur de recherche Pertimm).
3) Deux sous-corpus Pertimm créés à partir des identifiants de documents renvoyés par le moteur de recherche.
4) L’ensemble des résultats fournis aux participants.
5) Logiciel d’aide à l’évaluation des résultats dans le cadre d’une évaluation de systèmes de question-réponse (avec documentation détaillée).
Une description du projet est disponible à l'adresse suivante :
http://www.technolangue.net/article.php3?id_article=195
People who looked at this resource also viewed the following: