REPERE Evaluation Package

View resource name in all available languages

Package d’évaluation REPERE

ID:

ELRA-E0044

The REPERE project (REconnaissance de PERsonnes dans des Emissions audiovisuelles) consists in a series of 3 evaluation campaigns for multimedia information processing systems. The project was funded by the DGA (Délégation Générale de l’Armement, France).
The REPERE Evaluation Package contains the visual annotation of 60 hours of French news TV shows, for the purpose of person recognition within TV programs. This annotation concerns both persons and written information appearing on screen. For the evaluated systems, the aim is to answer automatically to the following questions:
- What is, at each moment, the identity of the persons appearing on screen?
- What is, at each moment, the identity of the persons who are speaking?
- Who are, at each moment, the persons which names are pronounced?
- Who are, at each moment, the persons which names appear on screen?

In order to measure the quality of the answers given by the evaluated systems, a manual description of the videos, has been produced. Thus, the speech of the persons was segmented, transcribed and annotated. Visual information was also annotated manually: detection of heads, description of embedded text, person identification.

Provided data consists of:
- video files with indexes and with manual transcriptions in XGTF format (Viper),
- audio files compressed in WAV format with transcriptions in TRS format (Transcriber).

This package includes the material that was used for the REPERE evaluation campaign. It includes resources, scoring tools, results of the campaign, etc., that were used or produced during the campaign. The aim of this evaluation package is to enable external players to evaluate their own system and compare their results with those obtained during the campaign itself.

View resource description in all available languages

Le projet REPERE (REconnaissance de PERsonnes dans des Emissions audiovisuelles) consiste en une série de 3 campagnes d’évaluation pour les systèmes de traitement de l’information multimédia. Le projet a été financé par la DGA (Délégation Générale de l’Armement, France).

Le package d’évaluation REPERE contient l’annotation visuelle de 60 heures d’émissions d’actualités françaises télé-diffusées, dans un objectif de reconnaissance de la personne dans les programmes TV. Cette annotation concerne à la fois les informations sur les personnes et les informations écrites apparaissant à l’écran. Pour les systèmes évalués, il s'agit de répondre automatiquement aux questions suivantes:
- Quelle est, à chaque instant, l’identité des personnes à l’image ?
- Quelle est, à chaque instant, l’identité des personnes qui parlent ?
- Quelles sont, à chaque instant, les personnes dont le nom est prononcé ?
- Quelles sont, à chaque instant, les personnes dont le nom apparaît l’image?

Afin de mesurer la qualité des réponses fournies par les systèmes évalués, une description manuelle des vidéos a été produite. Ainsi, le discours des personnes a été segmenté, transcrit et annoté. L'information visuelle est elle aussi manuellement annotée: localisation des têtes, description du texte incrusté, identification des personnes.

Les données fournies comprennent:
- les fichiers vidéo avec leurs indexes, ainsi que les transcriptions manuelles correspondantes au format XGTF (Viper),
- les fichiers audio compressés au format WAV avec les transcriptions correspondantes au format TRS (Transcriber).

Ce package comprend l’ensemble des données utilisées lors de la campagne d’évaluation REPERE. Il regroupe des ressources, des outils de notation, les résultats de la campagne officielle, etc., qui ont été utilisés ou produits pendant la campagne. Le but de ce « package » d’évaluation est de permettre à tout acteur externe de pouvoir évaluer son propre système et ainsi, de pouvoir comparer ses résultats à ceux obtenus pendant la campagne.

You don’t have the permission to edit this resource.
People who looked at this resource also viewed the following: