GlobalPhone vietnamien

Le corpus GlobalPhone, développé avec la collaboration du Karlsruhe Institute of Technology (KIT), a été conçu afin de fournir des données de parole lue pour le développement et l’évaluation de systèmes de reconnaissance de la parole continue à large vocabulaire dans les langues les plus répandues dans le monde, l’objectif étant de fournir une base de données audio et textuelles uniforme et multilingue pour la reconnaissance de la parole indépendante de la langue et adaptable à la langue, ainsi que pour des tâches d’identification de la langue.

Le corpus GlobalPhone complet permet l’acquisition d’une connaissance acoustico-phonétique pour les 20 langues parlées suivantes: allemand (ELRA-S0198), arabe (arabe standard moderne) (ELRA-S0192), bulgare (ELRA-S0319), chinois-mandarin (ELRA-S0193), chinois de Shanghai (ELRA-S0194), coréen (ELRA-S0200), croate (ELRA-S0195), espagnol (d’Amérique latine) (ELRA-S0203), français (ELRA-S0197), haoussa (ELRA-S0347), japonais (ELRA-S0199), polonais (ELRA-S0320), portugais (brésilien) (ELRA-S0201), russe (ELRA-S0202), suédois (ELRA-S0204), tamoul (ELRA-S0205), thaï (ELRA-S0321), tchèque (ELRA-S0196), turc (ELRA-S0206) et vietnamien (ELRA-S0322).

Dans chaque langue, environ 100 phrases ont été lues par chacun des 100 locuteurs. Les textes lus sont extraits d’articles de journaux nationaux disponibles sur internet afin de fournir un large vocabulaire (jusqu’à 65000 mots). Les articles lus couvrent des actualités politiques nationales et internationales, ainsi que des nouvelles économiques. Les données de parole ont été enregistrées en 16 bit, 16 kHz (qualité mono) avec un micro-casque (Sennheiser 440-6) et le même équipement d’enregistrement pour l’ensemble des langues. Les transcriptions ont été validées en interne et annotées au moyen de balises spéciales pour marquer les effets spontanés, tels que le bégaiement, les faux démarrages, et les effets non verbaux comme le rire et les hésitations. La base contient également des informations sur les locuteurs, telles que l’âge, le genre, la profession, etc. ainsi que des informations sur la mise en place de l’enregistrement. Le corpus GlobalPhone dans son entier comprend plus de 450 heures de parole enregistrées par plus de 1900 locuteurs adultes natifs.

Les données sont compressées au moyen du programme Shorten écrit par Tony Robinson, disponible depuis la page web de Softsound: http://www.softsound.com/ (distributions linux ou versions simulées telles que cygwin). Au besoin, les données peuvent être fournies non compressées.

La partie vietnamienne de GlobalPhone a été collectée en été 2009. 160 locuteurs (70 femmes et 90 hommes) ont été enregistrés au total, dont 140 dans les villes de Hanoi et Ho Chi Minh au Vietnam, et un ensemble additionnel de 20 locuteurs enregistrés à Karlsruhe en Allemagne. Tous les locuteurs sont de la langue maternelle vietnamienne et couvrent les variantes dialectales principales du Sud et Nord Vietnam. La majorité des locuteurs proviennent d’un bon niveau d’éducation, étant étudiants diplômés et ingénieurs. L’âge des locuteurs est compris entre 18 et 65 ans. Chaque locuteur a lu entre 50 et 200 occurrences d’articles de journaux, correspondant à environ 8,5 minutes de parole, soit 138 occurrences par personne, pour un total 22112 occurrences. La parole a été enregistrée au moyen d’un micro-casque Sennheiser HM420 en suivant un scénario “push-to-talk” à partir d’une plateforme de collecte de données moderne, développée en interne et basée sur un ordinateur portable. Toutes les données ont été enregistrées sous une résolution de 16 kHz 16 bit au format PCM. La collecte de données a eu lieu dans des salles de petite taille avec un bruit de fond très faible. Les informations sur le lieu d’enregistrement et les conditions environnementales de bruit sont fournies dans un fichier de session séparé pour chaque locuteur. Les données de parole ont été enregistrées en deux phases. Pour la première phase, les données ont été collectées auprès de 140 locuteurs dans les villes de Hanoi et Ho Chi Minh. Dans la seconde phase, des occurrences ont été extraites du corpus de texte afin de couvrir des phonèmes rares du vietnamien. Cette seconde phase d’enregistrement a été réalisée auprès de 20 étudiants diplômés vietnamiens vivant à Karlsruhe. Au total, 22112 occurrences ont été prononcées, soit 25,25 heures de parole. Les données textuelles utilisées pour l’enregistrement proviennent principalement d’actualités publiées dans les éditions en ligne de 15 sites web de journaux vietnamiens listés plus bas. Les 12 premiers ont été utilisés pour l’ensemble d’entraînement, alors que les trois derniers ont été utilises pour les ensemble de développement et d’évaluation. Les données textuelles collectées à partir des 12 premiers sites couvrent près de 4 millions de mots avec un vocabulaire de 30000 mots résultant en un Hors-Vocabulaire de 0% sur l’ensemble de développement et un taux de 0,067% sur l’ensemble d’évaluation. Les protocoles GlobalPhone standards ont été suivis et traitent des actualités politiques et économiques nationales et internationales (voir [SCHULTZ 2002]). Les transcriptions sont fournies en script Roman de style vietnamien, c’est-à-dire en utilisant plusieurs diacritiques codées en UTF-8. Les données vietnamiennes sont organisées sous la forme d’un ensemble d’entraînement de 140 locuteurs pour 22,15 heures de parole, un ensemble de développement de 10 locuteurs (6 du Nord et 4 du Sud Vietnam) pour 1:40 heures de parole et un ensemble d’évaluation de 10 locuteurs avec la même distribution en genre et dialecte que l’ensemble de développement pour 1:30 heures de parole. Plus de détails sur les statistiques de corpus, le scénario de collecte et la contruction du système basée sur la partie vietnamienne de GlobalPhone peuvent être trouvés dans [Vu and Schultz, 2009, 2010].

Sources des journaux vietnamiens:
http://www.tintuconline.vn
http://www.nhandan.org.vn
http://www.tuoitre.org.vn
http://www.tinmoi.com.vn
http://www.laodong.com.vn
http://www.tet.tintuconline.com.vn
http://www.anninhthudo.vn
http://www.thanhnien.com.vn
http://www.baomoi.com
http://www.ca.cand.com.vn
http://www.vnn.vn
http://www.tinthethao.com.vn
http://www.thethaovanhoa.vn
http://www.vnexpress.net
http://www.dantri.com

[Schultz 2002] Tanja Schultz (2002): GlobalPhone: A Multilingual Speech and Text Database developed at Karlsruhe University, Proceedings of the International Conference of Spoken Language Processing, ICSLP 2002, Denver, CO, September 2002.
[Vu and Schultz, 2010] Ngoc Thang Vu, Tanja Schultz (2010): Optimization On Vietnamese Large Vocabulary Speech Recognition, 2nd Workshop on Spoken Languages Technologies for Under-resourced Languages, SLTU 2010, Penang, Malaysia, May 2010.
[Vu and Schultz, 2009] Ngoc Thang Vu, Tanja Schultz (2009): Vietnamese Large Vocabulary Continuous Speech Recognition, Automatic Speech Recognition and Understanding, ASRU 2009, Merano.