MEDAR Evaluation Package

View resource name in all available languages

Package d’évaluation MEDAR

ID:

ELRA-E0040

The MEDAR Evaluation Package was produced within the project MEDAR (MEDiterranean ARabic language and speech technology), supported by the European Commission's ICT programme and which has been running from February 1st 2008 until July 31st 2010. The project addressed International Cooperation between the European Union and the Mediterranean region on Speech and Language Technologies (SLT) for Arabic. This evaluation package aims to enable the evaluation of SLT/MT (Machine Translation) systems for translation tasks applying to the English-to-Arabic direction.

The package consists of two SMT baseline systems and all necessary resources for the evaluation of machine translation for the English-to-Arabic direction. The package reflects the outcome of the dry-run and evaluation campaign carried out in February and July 2010.

It contains the training and test data, the reference translations, documentation and tools that enable to score a system output.

Tools are split in four categories:
- An alignment package including Hunalign, Champollion Tool Kit (CTK) and formatting scripts
- Evaluation metrics to evaluate MT output against reference translations: BLEU/NIST and WER
- Formatting scripts to convert XML files to raw in keeping tag information so as to realize the back conversion
- Two MT baseline systems that use MOSES (see http://www.statmt.org/moses for more information about MOSES)

Data concerns:
- the results of the morphosyntactic disambiguation and sentence and word alignment on the English-Arabic parallel corpus of the dry-run
- the source corpora and their reference translations used for the MEDAR dry-run and evaluation campaign
- the monolingual and parallel training data to train MT systems
- the judge assessments of the dry-run and campaign human evaluations

The full package is stored on 1 DVD.

View resource description in all available languages

Le package d’évaluation MEDAR a été produit dans le cadre du projet MEDAR (MEDiterranean ARabic language and speech technology – Technologie de la langue et de la parole pour l’arabe méditerranéen), avec le soutien du programme ICT de la Commission européenne et qui s’est déroulé du 1er février 2008 au 31 juillet 2010. Le projet s’est axé sur une coopération internationale entre l’Union européenne et le bassin méditerranéen sur les technologies de la langue et de la parole (SLT) pour l’arabe. Ce package d’évaluation a pour but de permettre l’évaluation de systèmes de SLT/TA (Traduction Automatique) pour des tâches de traduction s’appliquant à la direction anglais-vers-arabe.

Le package consiste en deux systèmes de référence de TA, ainsi que toutes les ressources nécessaires pour l’évaluation de la traduction automatique pour la direction anglais-vers-arabe. Il reflète les résultats du test à blanc et de la campagne d’évaluation qui se sont déroulés en février et juillet 2010.

Il comprend les données d’apprentissage et de test, les traductions de référence, la documentation et les outils permettant de noter la performance d’une sortie de système.

Les outils se divisent en quatre catégories:
- Un package d’alignement, incluant Hunalign, Champollion Tool Kit (CTK) et des scripts de formatage
- Les métriques d’évaluation BLEU/NIST et WER pour évaluer la sortie du système de TA vis-à-vis des traductions de référence
- Les scripts de formatage pour convertir les fichiers XML au format brut tout en conservant l’information des étiquettes pour pouvoir effectuer la conversion inverse
- Deux systèmes de référence de TA qui utilisent MOSES (voir http://www.statmt.org/moses pour plus d’information sur MOSES)

Les données comprennent:
- les résultats de la désambiguïsation morpho-syntaxique et l’alignement au niveau de la phrase et du mot pour le corpus parallèle anglais-arabe du test à blanc
- les corpus sources et leurs traductions de référence utilisés pour le test à blanc et la campagne d’évaluation MEDAR
- les données d’apprentissage monolingues et parallèles utilisées pour l’apprentissage des systèmes de TA
- les évaluations des juges du test à blanc et des campagnes d’évaluations humaines

Le package complet est stocké sur 1 DVD.

You don’t have the permission to edit this resource.
People who looked at this resource also viewed the following: