Projektbeschreibung

Im Mai 2017 startete das aus Mitteln des Europäischen Fonds für Regionale Entwicklung (EFRE) geförderte Forschungsprojekt „M³S – moderne Mensch-Maschine-Schnittstelle“ unter der Leitung von Herrn Prof. Dr. Ivan Volosyak, Professor für Biomedizin und Engineering an der Hochschule Rhein-Waal.

Noch bis April 2020 werden Prof. Volosyak und sein Team gemeinsam mit den Projektpartnern der Mediablix – IIT GmbH aus Bielefeld, polyoptics GmbH aus Kleve sowie der Arbeitsgemeinschaft Kognitronik und Sensorik der Universität Bielefeld im Rahmen des M³S-Forschungsprojekts an innovativen Lösungsansätzen für moderne Mensch-Maschine-Schnittstellen arbeiten, die eine Kommunikation zwischen dem menschlichen Gehirn und einem Computer ermöglichen. Diese Schnittstellen werden allgemein auch als Brain-Computer Interfaces (BCIs) oder Brain-Machine Interfaces (BMIs) bezeichnet.

BMIs bilden dabei die direkte Schnittstelle zwischen dem menschlichen Gehirn und dem Computer bzw. der Maschine. In BMIs werden die Gehirnaktivitäten mit einem EEG (Elektoenzephalogramm) gemessen und anschließend in Befehle umgewandelt, mit denen der Nutzer verschiedene Systeme steuern kann (z. B. das Licht an- und ausschalten).

Dank der Zusammenarbeit von Spezialisten in verschiedenen Technologiebereichen soll am Ende des Projekts ein hybrides Ansteuerungssystem entstehen, welches als Kommunikationsschnittstelle mit den neuesten tragbaren Technologien für Virtual Reality (VR) und Augmented Reality (AR) verwendet werden kann (z. B. Google Glas, Microsoft HoloLens oder Oculus Rift).

Durch die Kombination mit weiteren, bereits etablierten und marktreifen Innovationen, wie dem mobilen EEG- und Blickbewegungsmessgerät der Mediablix – IIT GmbH, die hardware-beschleunigten Signalverarbeitungsalgorithmen der Arbeitsgemeinschaft Kognitronik und Sensorik der Universität Bielefeld sowie einem speziell für die BMI konzipierten Bildschirm und Diodenpanel der polyoptics GmbH sollen die wesentlichen noch offenen Probleme der BMI/BCI-Technologie im vorliegenden Projekt gelöst werden. Auf Basis dieser Lösungen soll die Technologie robuster werden und damit zur Marktreife in verschiedenen Segmenten, wie der Spielindustrie und dem Gesundheitsmarkt, verholfen werden.

Geplante Arbeiten

Im Rahmen des Projekts soll aufbauend auf den erzielten Ergebnissen des wissenschaftlichen Vorprojekts Alltagstaugliche Brain-Computer Interfaces im Alter (ABCI) eine Mensch-Maschine-Schnittstelle entwickelt werden, die den Anforderungen der täglichen praktischen Anwendung standhalten kann und den Nutzern eine sichere Kommunikation und Interaktion mit der Umgebung ermöglicht. Das neue BMI soll dabei individuell an jeden Menschen anpassbar und leichter trainierbar sein als bisherige BMIs.

Die Basis dazu stellt eine innovative Kombination verschiedender Steuerungsmechanismen (SSVEP-, Blick-, und EEG-basierte Steuerung) mit optimierten Lern- und Klassifizierungsalgorithmen dar. Durch diese Kombination soll eine einfache, günstige und alltagstaugliche Kommunikation zwischen Menschen und Maschinen ermöglicht werden.

Eine weitere elementare Grundlage ist die Entwicklung eines neuen Monitor-Prototyps, der es erlaubt, bis zu 48 Bildschirmregionen mit unterschiedlichen Stimulationsfrequenzen anzusteuern, was bisher mit herkömmlichen Computerbildschirmen nicht möglich ist. Auf einem solchen Bildschirm sollen mehrere, für den Nutzer wesentlich angenehmere höhere Frequenzen unabhängig voneinander dargestellt werden können. Aufgrund dieser visuellen Stimulanz mit verschiedenen konstanten Frequenzen (von 6-90 Hz) können unterschiedliche SSVEPs mit einem EEG gemessen werden. Diese werden wiederum in getrennte Steuersignale umgewandelt, mit denen der Nutzer in der Lage ist, mit seinen Gehirnströmen unterschiedliche Systeme zu steuern (z. B. das Tippen auf einer visuellen Tastatur mittels Buchstabentasten, die mit unterschiedlichen Frequenzen leuchten).

Das neue BMI-System soll sich des Weiteren durch eine maximale Flexibilität auszeichnen. Das heißt, dass sämtliche Parameter auf die individuellen Bedürfnisse des Nutzers angepasst werden, um eine optimale Performance sowohl in Bezug auf Nutzerfreundlichkeit als auch in Bezug auf Robustheit zu garantieren.

Darüber hinaus soll sowohl die zugehörige Hardware als auch Software modular aufgebaut sein. Durch eine Baukastenstruktur soll die Hardware auf entsprechende Aufgaben zugeschnitten werden. Durch eine einfache Konfigurierbarkeit aller Verarbeitungsalgorithmen werden die späteren Anwender in die Lage versetzt, speziell auf das Einsatzgebiet zugeschnittene Softwarestrukturen erfolgreich zusammenzustellen und in das System zu integrieren, ohne über spezielle Fachkenntnisse zu verfügen.

Wesentliche Ziele im Überblick

Die nachfolgende Liste verdeutlicht die wesentlichen Ziele, die durch geplante Forschungsarbeiten erreicht werden sollten. Dies sind im Einzelnen:

• Entwicklung eines speziell für die Steady State Visual Evoked Potential (SSVEP)-Stimulation konzipierten Bildschirms mit der innovativen Möglichkeit, bis zu 48 Bildschirmregionen mit verschiedenen konstanten Stimulationsfrequenzen zwischen 6-90 Hz anzusteuern

• Erfassung eines großen Nutzerbereichs durch Erstellung einer autonomen Kalibrierungssoftware (Wizard), um optimale nutzerspezifische Parameter des verbesserten BMI-Systems vollkommen autonom vorzunehmen (z. B. optimale Anzahl der Schaltflächen)

• Entwicklung einer modernen Mensch-Maschine-Schnittstelle (BMI) mit hybrider Ansteuerung von Steady State Visual Evoked Potentials (SSVEP) und menschlichen Blickbewegungen

• Entwicklung von Maschine-zu-Maschine-Schnittstellen zwischen dem neuen Steuerungssystem und Haushaltsgeräten (Smart Home Anwendungen)

Verwertung und Transfer der Ergebnisse

Das grundlegende Ziel bei der Umsetzung der Forschungsergebnisse ist ein kostengünstiges BMI. Dazu muss beachtet werden, dass ein plattformunabhängiges Lösungskonzept entsteht, das in verschiedenen Einsatzbereichen genutzt werden kann und somit die Anbindung an gängige Industrieschnittstellen ermöglicht.

Ein weiteres wichtiges Ziel ist der Transfer von einer stationären Mensch-Maschine-Schnittstelle hin zu einem mobilen System, das in unterschiedlichen Alltagsumgebungen für verschiedene Aktivitäten Anwendung finden soll. Durch diese Mobilität, aber auch die anvisierte Robustheit, soll das Einsatzgebiet von BMIs ausgeweitet sowie die Alltagstauglichkeit und der praktische Nutzen um ein Vielfaches erhöht werden.

Nicht nur im Bereich der Spiele- und Unterhaltungsindustrie, sondern auch auf dem Gesundheitsmarkt soll ein breites Nutzerspektrum von neuen und optimierten Kommunikations- und Interaktionsmöglichkeiten profitieren.

Das neue BMI soll in diesem Zusammenhang beispielsweise Menschen, die durch Krankheit, Behinderung oder Posttraumata einen teilweisen oder vollständigen Verlust ihrer Kommunikations- (z. B. Sprechen) und Interaktionsfähigkeit (z. B. Bewegen) erlitten haben, zu mehr Flexibilität, Mobilität sowie Unabhängigkeit von anderen Menschen verhelfen und dadurch ihre Lebensqualität erhöhen.

Damit das neue BMI den individuellen und vielfältigen Nutzeranforderungen bestmöglich gerecht wird, sollen zielgruppenspezifische Nutzerstudien mit geeigneten Usability-Methoden durchgeführt und ausgewertet werden. Die Studienergebnisse sollen anschließend für die Optimierung des BMI verwendet werden.