I363 – Multimodal Human-Machine Interaction

Module
Multimodal Human-Machine Interaction
Multimodale Mensch-Maschine-Interaktion
Module number
I363
Version: 1
Faculty
Informatics/Mathematics
Level
Bachelor/Diploma
Duration
1 Semester
Semester
Winter semester
Module supervisor

Prof. Dr.-Ing. Dietrich Kammer
dietrich.kammer(at)htw-dresden.de
Lecturer(s)

Prof. Dr.-Ing. Dietrich Kammer
dietrich.kammer(at)htw-dresden.de
Course language(s)

German
in "Multimodale Mensch-Maschine-Interaktion "
ECTS credits

4.00 credits

Workload

120 hours

Courses

4.00 SCH (2.00 SCH Lecture | 2.00 SCH Internship)
Self-study time

60.00 hours

Pre-examination(s)
None
Examination(s)

Alternative examination - Software project
Module examination | Weighting: 100%
in "Multimodale Mensch-Maschine-Interaktion "
Form of teaching

2/0/2  V/Ü/P
Media type
  • Vorlesungsmaterialien als Folien und/oder Videos
  • Reflektions- und Selbstüberprüfungsfragen
  • Workshop-Charakter der Praktika
Instruction content/structure

In diesem Modul werden Konzepte zum Einsatz verschiedener Ein- und Ausgabetechnologien erläutert und deren praktischer Einsatz und Kombination erlernt. 

  • Einführung in multimodale Benutzungsschnittstellen
  • Entwurfsmethoden (inkl. Aspekten des Software- und Usability-Engineerings)
  • Interaktion in der Fläche (Multitouch, Sketching, Handschrifterkennung)
  • Interaktion im Raum (Embodied Interaction, Gesten, Kopfbewegungen, Ganzkörperinteraktion)
  • Sprache und Audio (Sprachverarbeitung, Sprachsynthese, Earcons)
  • Haptik (Tangible Interaction, Vibrotaktile Schnittstellen, neuartige Eingabegeräte)
  • Gehirn-Computer-Schnittstellen (inkl. Eyetracking)
  • Virtual und Augmented Reality
  • Barrierefreiheit und Inklusion
  • Ethische Implikationen beim Einsatz multimodaler Benutzungsschnittstellen
Qualification objectives
  • Studierende können Interaktionsformen für die Mensch-Maschine-Schnittstelle und deren sinnvolle Kombinationen benennen
  • Die Studierenden können für gegebene funktionelle Anforderungen an eine Anwendung geeignete Ein- und Ausgabemodalitäten bewerten, auswählen und sinnvoll kombinieren
  • Studierende können multimodale Anwendungen für die Mensch-Maschine-Interaktion entwerfen und umsetzen
Social and personal skills
  • Durch die Arbeit in Gruppen erlangen die Studierenden Konflikt- und Teamfähigkeit
  • Durch die Wahl spezifischer Anwendungsfelder und Themen im Praktikum wird die Fähigkeit und Bereitschaft, die eigene Begabung, Motivation und Leistungsbereitschaft zu entfalten gestärkt
  • In der Diskussion eigener und fremder Lösungen wird die Entwicklung
    einer individuellen Einstellung und Persönlichkeit gefördert
  • Im Hinblick auf Barrierefreiheit und ethische Aspekte wird die Reflektionsfähigkeit über eigene persönliche Belange hinaus gestärkt
Special admission requirements
Recommended prerequisites

I120 – Programmierung I
I121 – Programmierung II
I350 – Grundlagen der Gestaltung
I352 – Gestaltung interaktiver Oberflächen
Continuation options

I366 – Entwurf und Implementierung interaktiver Anwendungen
Literature
  • Oviatt, S., Schuller, B., Cohen, P., Sonntag, D., Potamianos, G. (2017). The Handbook of Multimodal-Multisensor Interfaces, Volume 1: Foundations, User Modeling, and Common Modality Combinations. Morgan & Claypool. ISBN: 978-1970001648
  • Oviatt, S., Schuller, B., Cohen, P., Sonntag, D., Potamianos, G., Krüger, A. (2018). The handbook of multimodal-multisensor interfaces, Volume 2: Signal processing, architectures, and detection of emotion and cognition. Morgan & Claypool. ISBN: 978-1970001686
  • Oviatt, S., Schuller, B., Cohen, P., Sonntag, D., Potamianos, G., Krüger, A. (2019). The Handbook of Multimodal-Multisensor Interfaces, Volume 3: Language Processing, Software, Commercialization, and Emerging Directions. Morgan & Claypool. ISBN: 978-1970001723
  • Bernsen, N. O., Dybkjær, L. (2009). Multimodal Usability. Springer Science & Business Media. ISBN: 978-1447125174
  • Dumas, B., Lalanne, D., Oviatt, S. (2009). Multimodal Interfaces: A Survey of Principles, Models and Frameworks. In: Human Machine Interaction: Research Results of the MMI Program. DOI: 10.1007/978-3-642-00437-7_1
  • Ernst, M.O., Bülthoff, H.H. (2004). Merging the Senses Into a Robust Percept. Trends in Cognitive Sciences, Volume 8, Issue 4, Pages 162-169, DOI 10.1016/j.tics.2004.02.002
Current teaching resources
  • Lehrmaterial in OPAL (Folien, Videos, Links)
  • Literaturempfehlungen als PDF
  • Literatur in der Hochschulbibliothek
Notes
No information
Link to course/learning resources in OPAL
https://bildungsportal.sachsen.de/opal/auth/RepositoryEntry/33154007041?3
Close detail view
© Modulux (Version 4.3)