Der KI-Decoder ist das erste System, das die Gehirnaktivität in einen fliessenden Text verwandeln kann, ohne dass ein chirurgischer Eingriff nötig ist. Bisherige Systeme mussten Elektroden ins Gehirn implantieren. Der Decoder kann die Sprache erstaunlich genau wiedergeben, wenn Menschen einer Geschichte zuhören oder sich eine Geschichte ausdenken, und das nur mit den Daten eines MRT-Scans. Dies könnte eine neue Möglichkeit bieten, die Sprachfähigkeit von Patient:innen wiederherzustellen, die durch einen Schlaganfall oder eine Erkrankung der motorischen Neuronen verstummt sind.
Dr. Alexander Huth, ein Neurowissenschaftler von der
Universität von Texas in Austin, der die Forschung leitet, ist begeistert: «Wir waren sehr erstaunt, wie gut es klappt. Ich habe 15 Jahre lang darauf hingearbeitet ... es war also ein Schock und eine Freude zugleich, als es endlich funktionierte.»
Die Forschung löst auch ein grundlegendes Problem der MRT: Die Technik kann zwar die Hirnaktivität an einem bestimmten Ort sehr genau darstellen, aber es gibt eine zeitliche Verzögerung, die es unmöglich macht, die Hirnaktivität in Echtzeit zu verfolgen.
Die MRT-Scans sind so langsam, weil sie zeigen, wie das Blut im Gehirn fliesst, wenn es arbeitet. Das dauert ungefähr 10 Sekunden, bis es am stärksten ist, und dann geht es wieder zurück zum Normalzustand. Das heisst, dass kein Scanner das schneller machen kann. «Das ist ein lautes, träges Signal für die Nervenzellen», sagt Huth.
Das macht es schwer, zu verstehen, wie das Gehirn auf natürliche Sprache reagiert, weil es viele Informationen über mehrere Sekunden vermischt.
Aber jetzt gibt es eine neue Möglichkeit, dank der grossen Sprachmodelle (die Art von künstlicher Intelligenz, die
OpenAIs
ChatGPT benutzt).
Gehirnströme konnten vom KI-Modell ChatGPT transkribiert werden. /
Diese Modelle können die Bedeutung von Sprache in Zahlen ausdrücken, so dass die Forscher:innen sehen konnten, welche Muster von Nervenzellen zu welchen Bedeutungen passen, anstatt zu versuchen, jedes Wort zu lesen.
Die künstliche Intelligenz lernen lassen
Das Lernen war anstrengend: Drei Freiwillige mussten jeweils 16 Stunden lang Podcasts hören, während sie in einem Scanner lagen. Der Decoder lernte, die Nervenzellen mit der Bedeutung zu verbinden, indem er ein grosses Sprachmodell, GPT-1, einen Vorgänger von ChatGPT, benutzte.
Später wurden dieselben Teilnehmer:innen wieder gescannt, als sie eine neue Geschichte hörten oder sich eine Geschichte ausdachten. Der Decoder erzeugte den Text nur aus den Nervenzellen. In etwa der Hälfte der Fälle war der Text sehr ähnlich oder sogar genau wie die Bedeutungen der ursprünglichen Wörter.
«Unser System arbeitet auf der Ebene von Ideen, Semantik und Bedeutung», sagt Huth. «Deswegen bekommen wir nicht die genauen Wörter heraus, sondern das Wichtigste».
Die Forscher:innen liessen die Teilnehmer:innen vier kurze stumme Videos anschauen, während sie im Gehirnscanner lagen. Dann nutzten sie einen Decoder, um aus ihrer Hirnaktivität einige der gezeigten Inhalte zu rekonstruieren. Die Ergebnisse wurden in
Nature Neuroscience veröffentlicht. «Das ist ein grosser Fortschritt für eine nicht-invasive Methode, die bisher nur einzelne Wörter oder kurze Sätze erfassen konnte», sagte Huth.
Schutz vor Missbrauch
Der Decoder machte manchmal Fehler und kam mit bestimmten sprachlichen Aspekten nicht zurecht, zum Beispiel mit Pronomen. «Er kann nicht unterscheiden, ob es sich um die erste oder dritte Person, männlich oder weiblich handelt», erklärte Huth. «Wir wissen nicht, warum er darin so schlecht ist.»
Der Decoder war individuell angepasst und funktionierte bei anderen Personen nicht. Ausserdem konnten die Teilnehmer:innen, für die der Decoder trainiert war, das System austricksen, indem sie zum Beispiel an Tiere dachten oder sich im Kopf eine andere Geschichte ausdachten.
Jerry Tang, Doktorand an der
University of Texas in Austin und einer der Mitautoren, sagte: «Wir sind uns der Bedenken bewusst, dass die Technologie für böse Zwecke eingesetzt werden könnte, und haben versucht, dies zu vermeiden. Wir wollen sicherstellen, dass die Menschen diese Art von Technologien nur nutzen, wenn sie es wünschen und wenn es ihnen nützt.»
