Forschungsfeld 1: Engineering und Absicherung heterogener Mensch-Maschine-Teams

Promotionsprojekt 1.2: Sensorbasierte Abschätzung der Kontrollfähigkeit von Personen in der Interaktion mit Maschinen am Beispiel von intelligenten Demontagerobotern für Recycling von kritischen Produkten

Betreuer: Prof. C. Rembe und Prof. J. Gertheiss

State of the Art: Zu Beurteilung der Kontrollfähigkeit eines Mitarbeiters in einer Demontagefabrik für Recycling, wie z.B. Identifikation von Abgelenktheit, können verschiedene Verfahren zum Einsatz kommen. Insbesondere bei Fahrzeug-basierten und Verhaltens-basierten Systeme gibt es zu dieser Thematik Vorarbeiten. Erstere verwenden v.a. Bewegungen des Lenkrads und die Position in der Fahrspur; letztere erfassen i.d.R. über eine oder mehrere Kameras Augen-, Gesichts-, Kopf- oder Handbewegungen. Als einziger Parameter wird in existierenden Systemen aber nur der Grad der Müdigkeit geschätzt oder es wird versucht, bestimmte idealtypische Situationen wie Telefonieren am Steuer zu identifizieren. Für ein Team aus Mitarbeiter und intelligenten Demontageroboter ist aber ein viel größerer Grad an Abstimmung zwischen Mensch und Maschine notwendig, da der Roboter erkennen muss, ob der Mensch bereit ist, die Kontrolle beim Demontageprozess zu übernehmen und vor der Übergabe eine aktive Bestätigung durch den Menschen einfordert.

Für diese Aufgabe ist es zunächst notwendig, die geeigneten medizinischen Parameter zu finden, mit denen eine Bereitschaft zur Übernahme der Kontrolle bei kritischen Arbeitsschritten erkannt werden kann. Dazu müssen auch Vitalparameter wie Atmungsfrequenz, Herzfrequenz, Hertzratenvariabilität, Herzrhythmus oder Blutdruck ermittelt werden. In der Tat existieren auch Ansätze, physiologische Parameter zu bestimmen und auszuwerten. Erforscht wird etwa der Einsatz von Electrocardiography/ECG und Electroencephalography/EEG. Bei diesen Verfahren muss der Mensch mit Sensoren verkabelt werden, für den realen Einsatz ist es aber notwendig die Daten kontaktlos einzusammeln. Aktuelle Forschungsansätze hierzu basieren ebenfalls auf digitaler Kameratechnik mit Bildverarbeitung oder auf Laser-Doppler-Vibrometrie. In dem Projekt soll nun erforscht werden, ob diese kontaktlosen Verfahren sich eignen, um relevante medizinische Parameter zu extrahieren, die zur Erkennung der Übernahmebereitschaft eingesetzt werden können. In der vorhandenen Literatur zur Datenauswertung werden die jeweiligen Messungen i.d.R. über ein fest-definiertes Zeitintervall unmittelbar vor dem aktuellen Zeitpunkt betrachtet. Eine derartige Datenstruktur nennt man auch funktionale Daten. Um mit Hilfe dieser Daten Rückschlüsse auf den gegenwärtigen Zustand einer Person zu ziehen, werden aus den Daten typischerweise zunächst (unsupervised) Features extrahiert, z.B. mittels Wavelets, Independent Component Analysis oder auch über einfache Summary Statistics wie Mittelwerte, Varianzen oder Korrelationen. Im Anschluss werden diese Features als Input für ein maschinelles Lernverfahren verwendet, wobei auch hier unterschiedlichste Techniken zum Einsatz kommen, wie etwa Support Vector Maschines, Neuronale Netze, K-Nearest-Neighbors, Linear Discriminant Analysis oder auch Random Forests. In manchen Fällen werden jedoch auch denkbar einfache Regeln verwendet, wie etwa die Frage, ob die Augen des Mitarbeiters länger als eine bestimmte Zeitspanne geschlossen waren.

Forschungslücke: Gemeinsam ist (fast) allen Verfahren, die physiologische Parameter erfassen, dass diese am Körper/Kopf zu tragende Elektroden verwenden. Eine routinemäßige Anwendung im industriellen Arbeitsalltag, wie z.B. im Demontageprozess beim Recycling, ist damit so gut wie ausgeschlossen. Es sind daher Methoden zu erforschen, mit denen die Übernahmebereitschaft kontaktlos ermittelt werden kann.

Eigene Vorarbeiten: Christian Rembe forscht, wie sich mit dem Einsatz der Laser-Doppler-Vibrometrie medizinisch relevanten Parameter ermitteln lassen. So konnte die AG Rembe zeigen, dass sich mit Laser-Doppler-Vibrometrie kontaktlos der Herzrhythmus messen lässt. Außerdem beschäftigt sich die Arbeitsgruppe mit der Messung der Motorik von Personen durch digitale Bildverarbeitung und 3D-Objekterfassung. Jan Gertheiss beschäftigt sich seit Jahren mit Methodenentwicklung und (bio)statistischer Auswertung von funktionalen Daten. Hierbei seien insbesondere zu nennen: (a) Methoden, welche auf funktionalen Hauptkomponenten basieren. Mittels Functional Principal Component Analysis (FPCA) lassen sich die Hauptrichtungen der Variation in den (funktionalen) Daten bestimmen. Diese können dann als Features für die Klassifikation verwendet werden.
(b) Verfahren zur supervised Feature/Variable Selection. (c) Modellierung/Identifikation von typischem Verhalten (von Tieren) aus Sensordaten und Vergleich von Gruppen. (d) Prädiktion von Verhalten auf Basis der unmittelbaren Vergangenheit.