Ziel des Projekts SEMULIN (Self-supporting Multimodal Interaction) ist die Entwicklung einer selbsttragenden, natürlichen und durchgängigen Mensch-Maschine-Schnittstelle für automatisiert fahrende Fahrzeuge mit multimodalen Input/Output-Konzepten.
Wesentliche Herausforderungen sind dabei, die beabsichtigten Handlungen des Menschen, deren Interpretation und die daraus resultierende Ableitung von Handlungen für die Maschine zu erkennen.
Dazu sollen drei Kerninnovationen umgesetzt werden:
Die natürliche HMI führt zu der bedarfsgerechten Kombination der Eingabe-/Ausgabemodalitäten. Wesentliches Gestaltungskriterium für die Benutzer-Fahrzeug-Schnittstelle ist dabei eine sinnvolle multimodale Interaktion in Form einer möglichst natürlichen Nutzung.
Im Intelligenzcluster werden Methoden des maschinellen Lernens und der künstlichen Intelligenz mit Modellen und Methoden aus der Psychologie verknüpft. Dies dient dazu, beabsichtigte Handlungen und die daraus abzuleitenden Reaktionen möglichst erwartungsnah zu identifizieren.
Im Technologiestack sind die Ein-/Ausgabemodalitäten in einer spezialisierten Zentraleinheit zusammengefasst. Die Eingabemodalitäten sind eng mit den jeweiligen Sensoren verknüpft, deren Funktionen im Rahmen des Projekts für die Modalitäten Emotion, Sprache, Sprecher, Blickrichtung und Geste erweitert wurden.
SEMULIN verfolgt einen evolutionären, iterativen Projektansatz zur Überprüfung und Verbesserung von Demonstratoren und Simulatoren. Auf Basis eines Use-Case-Katalogs wird eine Use Case Story erstellt, die als Leitfaden für das Gesamtprojekt dient. Diese Use Case Story wird in Fahrsimulatoren und im finalen SEMULIN-Demonstrator umgesetzt. Nach einem Referenzerhebungsprozess folgt eine empirische Abschlussevaluation. Die Usability und letztendlich die Nutzerzufriedenheit werden durch die Kombination von Simulatormessungen, standardisierten Fragebögen und Einzelinterviews ermittelt.