Home
41
SmartKom Mobil 
SKM
ID:
ELRA-S0317
The SmartKom corpora were produced at BAS in the years 1999 to 2003 within the SmartKom project which was funded by the German Ministry of Education and Science. The corpus consists of multi-modal recordings (“sessions”) of 224 persons in a Wizard-of-Oz setting.
Release SKM 1.0 contains 146 recordings in the technical setup (“scenario”) SmartKom Mobil which is a portable PDA equipped with a net link and additional intelligent communication devices. Naive users were asked to test a “prototype” for a market study not knowing that the system was in fact controlled by two human operators. They were asked to solve two tasks in a period of 4,5 min while they were left alone with the system. The instruction was kept to a minimum; in fact the user only knew that the system is able to understand speech, gestures and should more or less communicate like a human.
Experiments were not performed in the field but rather in a studio-like environment. Background noise was played back artificially and the users did not carry the PDA in their hand but rather used a much smaller version of the SIVIT projection plane (to simulate a PDA display) and a pen as a pointing device. Speakers were speaking to a headset microphone.
Main technical features of release SKM 1.0
• Technical setup: Mobil (scenario)
• Primary domain “Tourism”; secondary domain “Telephony”
• Primary domain “Navigation”; secondary domain “Looking for parking place”
• 73 users
• 146 recording sessions; size: 490 GB
• Recorded modalities:
o Audio in max 9 channels
o Video of face
o Video of upper body from the left
o Infrared video of the display area (to capture the 2D gestures) as input to the SIVIT device (Siemens gesture recognizer)
o Video of the GUI output
o Coordinates of graphic tableau (when pen was used)
o Coordinates of SIVIT device (when finger/hands were used)
• Annotations:
o Transliteration
o 2D Gesture
o user states in three modalities
o Turn segmentation
• Documentation, TechDoks and publications
• All annotations compatible to the “BAS Partitur Format” (BPF)
The full database is provided on USB. Single volumes on DVD can be obtained upon demand.
View resource description in all available languages
Les corpus SmartKom ont été produits à BAS entre 1999 et 2003 dans le cadre du projet SmartKom, financé par le Ministère de l’éducation et la science allemand. Le corpus consiste en des enregistrements multimodaux (“sessions”) de 224 personnes dans un environnement “Magicien d’Oz”.
La version 1.0 de SKM contient 146 recordings enregistrements réalisés dans l’environnement technique (“scénario”) SmartKom Mobil qui est un portable PDA équipé d’un lien internet et d’outils de communication intelligents additionnels. On a demandé aux utilisateurs “naïfs” de tester un “prototype” pour une étude de marché, sans savoir que le système était en fait contrôlé par deux opérateurs humains. Ils devaient résoudre deux tâches dans une période de temps de 4,5 minutes alors qu’on les laissait seuls avec le système. L’instruction a été minimale; en réalité, l’utilisateur savait seulement que le système était capable de comprendre la parole, les gestes et même des mimiques et devrait plus ou moins communiquer comme un humain.
Les expériences n’ont pas été réalisées en environnement réel mais plutôt dans un environnement de type studio. Le bruit de fond a été produit de façon artificielle et les utilisateurs ne portaient pas le PDA dans leur main mais utilisaient une version la plus petite possible du plan de projection SIVIT (pour simuler un affichage PDA) et un stylo comme pointeur. Les locuteurs parlaient via un micro-casque.
Caractéristiques techniques de la version 1.0 de SKM :
• Environnement technique: Mobile (scénario)
• Domaine primaire: “Tourisme”; domaine secondaire: “Téléphonie”
• Domaine primaire: “Navigation”; domaine secondaire: “A la recherché de place de parking ”
• 73 utilisateurs
• 146 sessions d’enregistrements; taille: 490 Go
• Modalités enregistrées:
o Audio 10 canaux maxi
o Vidéo du visage
o Vidéo de la partie haute du corps depuis le côté gauche
o Vidéo infra-rouge de la zone exposée (pour capter les gestes 2D) en entrée de l’outil SIVIT (système de reconnaissance gestuelle Siemens)
o Vidéo de la sortie GUI
o Coordonnées du tableau graphique (quand un stylet est utilisé)
o Coordonnées de l’outil SIVIT (quand les doigts/mains sont utilisés)
• Annotations:
o Translittération
o Gestes 2D
o Etats de l’utilisateur en trois modalités
o Segmentation des tours de parole
• Documentation, TechDoks et publications
• Toutes les annotations compatibles avec le format “BAS Partitur Format” (BPF)
La base de données complète est fournie sur USB. Des volumes à l’unité sur DVD peuvent être également fournis à la demande.
People who looked at this resource also viewed the following: