Das vom Bundesministerium für Wirtschaft und Klimaschutz geförderte Projekt SEMULIN (Self-Supporting Multimodal Interaction) ist ein Forschungsprojekt, das natürliche multimodale Mensch-Maschine-Interaktionen (HMI) im Bereich des autonomen Fahrens untersucht.

Um dieses Projekt zum Erfolg zu führen, haben sich namhafte Forschungs- und Branchenführer auf diesem Gebiet zusammengetan – Elektrobit, Universität Ulm, Fraunhofer IIS, audEERING, eesy Innovation, Blickshift und Infineon.

Unser gemeinsames Ziel ist es, ein selbsttragendes HMI zu entwickeln, das eine natürliche, intuitive menschenähnliche Kommunikation zwischen dem Fahrzeug und seinen Benutzern mit weniger Fehlerfreiheit ermöglicht. Das Fahrzeug erkennt natürlich die Absicht des Benutzers durch mehrere Ein- und Ausgabeströme.

Das zugrunde liegende System basiert auf einer Kombination aus psychologischen und komplexen KI-Modellen mit maschinellem Lernen, das durch leistungsstarke Rechenleistung und Architekturen unterstützt wird.

Die natürliche menschliche Kommunikation wird durch das Zusammenspiel verschiedener Kommunikationsmodalitäten wie Stimme, Mimik, Gestik oder Blick bestimmt. Auch der Kontext spielt eine entscheidende Rolle in der menschlichen Interaktion. Ein möglichst natürlich erscheinendes System für die Mensch-Maschine-Interaktion muss daher in der Lage sein, unterschiedliche Modalitäten und Kontextinformationen zu berücksichtigen und zu verknüpfen.

Ziel des Projekts ist die Entwicklung einer natürlichen und durchgängigen Mensch-Maschine-Schnittstelle für automatisierte Fahrzeuge (Level 4 und 5, mit Übergängen zu Level 3). Das System verwendet multimodale Input/Output-Konzepte, die eine ganzheitliche, natürliche und effiziente Kommunikation ermöglichen. Es soll die von verschiedenen Sensoren gesammelten Daten semantisch interpretieren und in einen Kontext setzen können. Darüber hinaus soll sich das entwickelte System durch kontinuierliche Überwachung und Interpretation selbstständig an die Bedürfnisse seiner Nutzer anpassen.

Im Projekt wird eine Mensch-Maschine-Schnittstelle für automatisiertes Fahren entwickelt. Das multimodale Interaktionskonzept basiert auf einer ganzheitlichen Fahrgastüberwachung durch verschiedene installierte Sensoren, die die Daten vorverarbeiten und interpretieren können. Zur Korrelation der Daten kommen regel- und KI-basierte Methoden zum Einsatz. Es soll ein Nutzermodell entwickelt werden, das wiederum eine natürliche, affektive Reaktion des Fahrzeugs ermöglicht.