Gesichtsausdrücke

Der Geschlechter-Blick der KI

Jenaer Informatiker analysieren KI-Modelle zur Erkennung von Gesichtsausdrücken
Gesichtsausdrücke
Foto: AdobeStock
  • Light
  • Forschung

Meldung vom: | Verfasser/in: Gender in Focus

Künstliche neuronale Netze spielen eine entscheidende Rolle bei der Nutzung und Auswertung umfangreicher Datenmengen. Ein besonderes Anwendungsfeld für die Psychologie und die medizinische Forschung ist die Erkennung und Klassifikation menschlicher Gesichtsausdrücke. Die dafür genutzten Systeme sind sehr leistungsstark und werden zur Verarbeitung großer Datensätze als automatisierte Prozesse (end-to-end) entwickelt und entsprechend trainiert. Allerdings zeigen diese Black-Box-Modelle bei ihrer Anwendung, vor allem bei sogenannten Subpopulation-Shifts (Mischungs-Schock), oft ein unregelmäßiges Verhalten auf, wodurch die Leistungsfähigkeit und Aussagekraft der Vorhersagen beeinträchtigt werden.

Informatiker der Computer Vision Group JenaExterner Link unter der Leitung von Professor Joachim Denzler haben dieses Problem aufgegriffen und in einer aktuellen Untersuchung analysiert, welche Faktoren einen Einfluss auf das unregelmäßige Verhalten von KI-Modellen zur Erkennung von Gesichtsausdrücken haben könnten. Dafür wurden zwei gängige Anwendungen (HSEmotion-7 und ResidualMaskNet) ausgewählt, die in der Lage sind, insgesamt sechs Basis-Emotionen sowie eine neutrale Ausdrucksform zu erkennen. Gemeinsam mit der Klinik für Hals-, Nasen- und Ohrenheilkunde unter der Leitung von Professor Orlando Guntinas-Lichius am Universitätsklinikum Jena wurden zunächst 36 gesunde Probanden in einem standardisierten Verfahren aufgefordert, vor einer Kamera die verschiedenen Emotionen in einer zufälligen Reihenfolge zum Ausdruck zu bringen. Um Verzerrungen durch menschliche Zuschreibungen zu vermeiden, stand ausschließlich die Fähigkeit der Teilnehmenden zum mimischen Ausdruck im Fokus, die mit Frontalaufnahmen aufgezeichnet wurde. Um den Anwendungskontext in der neurologischen Diagnostik zu berücksichtigen, erfolgten die Aufnahmen viermal mit und zweimal ohne die angelegten Elektroden der hochauflösenden Oberflächen-Elektromyographie. Eine zweite Gruppe von Probanden bestand aus 36 Patienten mit einer einseitigen Fazialisparese (Gesichtslähmung), von deren Erscheinungsbild anzunehmen ist, dass hier ein nachweisbarer Einfluss auf die Qualität der Vorhersagen von KI-Modellen besteht. Diese Aufnahmen mit den verschiedenen Gesichtsausdrücken wurden mittels 3D-Scans durchgeführt.

Nehmen KI-Modelle Emotionen bei Männern und Frauen unterschiedlich wahr? Dieses Diagramm veranschaulicht, wie zwei KI-Modelle bei der Erkennung von Gesichtsausdrücken eine geschlechtsspezifische Voreingenommenheit (Bias) aufweisen. Die Daten auf der linken Seite zeigen, dass das erste KI-Modell im Vergleich zu Frauen häufig Schwierigkeiten hat, den Gesichtsausdruck „angewidert“ (Ekel) bei Männern zu erkennen. Auf der rechten Seite ist zu sehen, dass ein zweites Modell Frauen öfter und mit größerer Sicherheit den Gesichtsausdruck „glücklich“ (Freude) zuschreibt. Diese Erkenntnisse helfen Forschern dabei, verborgene Verzerrungen in modernen medizinischen und psychologischen KI-Werkzeugen aufzudecken.

Grafik: Computer Vision Group Jena

Für die weitere Analyse wählten die Forscher mehrere relevante Eigenschaften der Beschaffenheit von Gesichtern aus, die Modelle zur Gesichtserkennung beeinflussen könnten. Hierzu zählen neben der (Nicht-)Applikation von Elektroden und Erkrankungen wie der Fazialisparese auch Faktoren wie Alter, Gewicht und Geschlecht sowie die Symmetrie der Gesichtsproportionen. Die Black-Box-Modelle wurden daraufhin 'auf die Probe gestellt', wobei die Forscher zeigen konnten, dass einige dieser Eigenschaften auf signifikante Weise in den Entscheidungsprozess von KI-Modellen einbezogen werden und damit die Wahrscheinlichkeit zutreffender Vorhersagen beeinflussen. So konnte etwa in Bezug auf das Geschlecht nachgewiesen und bestätigt werden, dass die Aktivierung für die Vorhersage “fröhlich“ bei Frauen im Durchschnitt stärker ausgeprägt ist. Weiterhin wurde der Ausdruck “angewidert” bei Männern niedriger gewichtet als bei Frauen.  

Mit diesem Einblick in die Black Box der Datenverarbeitung haben Tim Büchner, Niklas Penzel und Joachim Denzler von der Computer Vision Group Jena sowie Orlando Guntinas-Lichius von der HNO-Klinik einen wichtigen Impuls gegeben, die Funktionsweise von KI-Modellen weiterhin kritisch zu evaluieren und mögliche Fehlerquellen hervorzuheben, um die Modelle künftig noch besser und leistungsfähiger zu machen, insbesondere für medizinische und psychologische Anwendungsgebiete.

Die Forschung wurde durch die Deutsche Forschungsgemeinschaft (DFG – German Research Foundation) innerhalb des Projekts 427899908 BRIDGING THE GAP: MIMICS AND MUSCLES (DE 735/15-1 und GU 463/12-1) gefördert.

Information

Tim Büchner, Niklas Penzel, Orlando Guntinas-Lichius, and Joachim Denzler: The Power of Properties: Uncovering the Influential Factors in Emotion Classification. In: Christian Wallraven, Cheng-Lin Liu, Arun Ross (Eds.): Pattern Recognition and Artificial Intelligence. 4th International Conference, ICPRAI 2024. p. 440–448, 2025.

https://doi.org/10.1007/978-981-97-8705-0_32Externer Link

Joachim Denzler, Univ.-Prof. Dr.

Professur für Digitale Bildverarbeitung
Link zum Herunterladen der vCard
vCard
Raum 3026
Inselplatz 5
07743 Jena Google Maps – LageplanExterner Link

Orlando Guntinas-Lichius, Univ.-Prof. Dr.

Universitätsklinikum Jena, Klinik für Hals-, Nasen- und Ohrenkunde