Problem
Therapie- und Wellness-Apps verlassen sich meist darauf, was Menschen über ihre Gefühle sagen oder eintippen. Unser Team wollte ein Gerät, das emotionale Signale direkt erfasst, ohne nachzufragen. Infrarotkameras eignen sich dafür, weil sie Wärmemuster im Gesicht aufnehmen und nicht nur das Aussehen.
Was ich gebaut habe
Die Idee geht auf ein Forschungspaper zurück, NeckFace (Chen et al., 2021), das Gesichtsausdrücke aus Infrarotbildern von Kinn und Kiefer rekonstruiert. Wir wollten daraus ein kleines Gerät machen.
Als Team haben wir erste Infrarotvideos aufgenommen und einfache Ansätze daran ausprobiert. Ich habe die Machine-Learning-Baseline gebaut: ein ResNet50-Modell, das aus Gesichtsbildern eine von sieben Emotionen vorhersagt, trainiert auf dem öffentlichen Datensatz FER2013. Dieses Skript liegt im öffentlichen Repository. Außerdem habe ich an den 3D-gedruckten Hardware-Prototypen gearbeitet und beim Entwurf der Benutzeroberfläche in Figma geholfen.
Mein Anteil
Wir waren sechs Personen mit unterschiedlichem Hintergrund. Ich habe am Machine Learning gearbeitet und bei der Hardware und dem UI-Design unterstützt. Die Geschäftsseite und das Produkt insgesamt waren Teamarbeit.
Ergebnis
Das Projekt wurde als beste Startup-Idee Berlins ausgezeichnet und hat das TU-Stipendium erhalten.
Nächste Schritte
Einen größeren Infrarot-Datensatz mit unserer eigenen Hardware aufnehmen und das Modell an Personen testen, die es noch nie gesehen hat.