English
I363 – Multimodale Mensch-Maschine-Interaktion
Multimodal Human-Machine Interaction
Version: 1
Prof. Dr.-Ing. Dietrich Kammer
dietrich.kammer(at)htw-dresden.de
Prof. Dr.-Ing. Dietrich Kammer
dietrich.kammer(at)htw-dresden.de
Deutsch
4.00 Credits
120 Stunden
4.00 SWS (2.00 SWS Vorlesung | 2.00 SWS Praktikum)
60.00 Stunden
Alternative Prüfungsleistung - Softwareprojekt
Wichtung: 100 %
2/0/2 V/Ü/P
- Vorlesungsmaterialien als Folien und/oder Videos
- Reflektions- und Selbstüberprüfungsfragen
- Workshop-Charakter der Praktika
In diesem Modul werden Konzepte zum Einsatz verschiedener Ein- und Ausgabetechnologien erläutert und deren praktischer Einsatz und Kombination erlernt.
- Einführung in multimodale Benutzungsschnittstellen
- Entwurfsmethoden (inkl. Aspekten des Software- und Usability-Engineerings)
- Interaktion in der Fläche (Multitouch, Sketching, Handschrifterkennung)
- Interaktion im Raum (Embodied Interaction, Gesten, Kopfbewegungen, Ganzkörperinteraktion)
- Sprache und Audio (Sprachverarbeitung, Sprachsynthese, Earcons)
- Haptik (Tangible Interaction, Vibrotaktile Schnittstellen, neuartige Eingabegeräte)
- Gehirn-Computer-Schnittstellen (inkl. Eyetracking)
- Virtual und Augmented Reality
- Barrierefreiheit und Inklusion
- Ethische Implikationen beim Einsatz multimodaler Benutzungsschnittstellen
- Studierende können Interaktionsformen für die Mensch-Maschine-Schnittstelle und deren sinnvolle Kombinationen benennen
- Die Studierenden können für gegebene funktionelle Anforderungen an eine Anwendung geeignete Ein- und Ausgabemodalitäten bewerten, auswählen und sinnvoll kombinieren
- Studierende können multimodale Anwendungen für die Mensch-Maschine-Interaktion entwerfen und umsetzen
- Durch die Arbeit in Gruppen erlangen die Studierenden Konflikt- und Teamfähigkeit
- Durch die Wahl spezifischer Anwendungsfelder und Themen im Praktikum wird die Fähigkeit und Bereitschaft, die eigene Begabung, Motivation und Leistungsbereitschaft zu entfalten gestärkt
- In der Diskussion eigener und fremder Lösungen wird die Entwicklung
einer individuellen Einstellung und Persönlichkeit gefördert - Im Hinblick auf Barrierefreiheit und ethische Aspekte wird die Reflektionsfähigkeit über eigene persönliche Belange hinaus gestärkt
I120 – Programmierung I
I121 – Programmierung II
I350 – Grundlagen der Gestaltung
I352 – Gestaltung interaktiver Oberflächen
I366 – Entwurf und Implementierung interaktiver Anwendungen
- Oviatt, S., Schuller, B., Cohen, P., Sonntag, D., Potamianos, G. (2017). The Handbook of Multimodal-Multisensor Interfaces, Volume 1: Foundations, User Modeling, and Common Modality Combinations. Morgan & Claypool. ISBN: 978-1970001648
- Oviatt, S., Schuller, B., Cohen, P., Sonntag, D., Potamianos, G., Krüger, A. (2018). The handbook of multimodal-multisensor interfaces, Volume 2: Signal processing, architectures, and detection of emotion and cognition. Morgan & Claypool. ISBN: 978-1970001686
- Oviatt, S., Schuller, B., Cohen, P., Sonntag, D., Potamianos, G., Krüger, A. (2019). The Handbook of Multimodal-Multisensor Interfaces, Volume 3: Language Processing, Software, Commercialization, and Emerging Directions. Morgan & Claypool. ISBN: 978-1970001723
- Bernsen, N. O., Dybkjær, L. (2009). Multimodal Usability. Springer Science & Business Media. ISBN: 978-1447125174
- Dumas, B., Lalanne, D., Oviatt, S. (2009). Multimodal Interfaces: A Survey of Principles, Models and Frameworks. In: Human Machine Interaction: Research Results of the MMI Program. DOI: 10.1007/978-3-642-00437-7_1
- Ernst, M.O., Bülthoff, H.H. (2004). Merging the Senses Into a Robust Percept. Trends in Cognitive Sciences, Volume 8, Issue 4, Pages 162-169, DOI 10.1016/j.tics.2004.02.002
- Lehrmaterial in OPAL (Folien, Videos, Links)
- Literaturempfehlungen als PDF
- Literatur in der Hochschulbibliothek