GPT-3 zeigt menschenähnliche Sprachmuster
Das Sprachmodell GPT-3 nutzt menschenähnliche psychologische Mechanismen bei der Erzeugung von Sprache. Die semantische Aktivierung, die im menschlichen Gehirn abläuft, wird von GPT-3 reproduziert. Das zeigen Experten der HSG und der Stanford University in einem Text, der auf der Website des renommierten Wissenschaftsmagazins NATURE frei zugänglich ist.
Was geschieht, wenn eine KI nach den richtigen Worten sucht? Ein Schlüssel zur Antwort auf diese Frage liegt in der sogenannten semantischen Aktivierung. Diese erfolgt, wenn das Gehirn beim Hören oder Lesen von Wörtern automatisch an verwandte Begriffe denkt. Auf die Frage «Was trinken Kühe?» antworten Menschen zum Beispiel eher mit «Milch» als mit «Wasser» (nur Kälber trinken Milch), was zeigt, dass «Kuh» und «trinken» das Wort «Milch» im semantischen Gedächtnis aktivieren. GPT-3 zeigt ähnliche semantische Aktivierungsmuster wie Menschen, allerdings mit einer signifikant höheren Aktivierung bei verwandten Wortpaaren (z.B. «Limette–Zitrone») als bei nicht verwandten Paaren (z.B. «Tourist-Zitrone»).
Obwohl GPT-3 menschenähnliche Sprachmuster zeigt, wird die semantische Aktivierung bei GPT-3 stärker durch die Ähnlichkeit der Wortbedeutung («Limette–Zitrone», «Tag–Nacht») bestimmt als durch die Verbindung von Worten (Wortpaaren), die häufig zusammen verwendet werden (z.B. «weg–gehen» oder «unter–suchen»). Dabei zeichnet sich ab: Je fortschrittlicher die Sprachmodelle werden, desto ausgeprägter werden die Unterschiede zum Menschen. Daher gehen die Experten davon aus, dass die skizzierten Ergebnismuster bei GPT-4, der noch nicht öffentlich erhältlichen Folgeversion von GPT-3, noch stärker ausfallen werden.
Weiterer Nutzen
Die Befunde zeigen auf der einen Seite, wie das Studium von Sprachmodellen wie GPT-3 dazu beitragen könnte, unser Verständnis von menschlicher Sprache zu verbessern. Denn Sprachmodelle werden darauf trainiert, menschliches Verhalten (hier: Sprache) zu imitieren. Sie könnten also auch als Modellteilnehmer in psycholinguistischen Studien eingesetzt werden. Solche Studien helfen, besser zu verstehen, wie Sprache im menschlichen Gehirn verarbeitet und repräsentiert wird.
Hilfreich für Untersuchungen ist auch, dass Sprachmodelle, anders als Menschen, nicht unter Ermüdung und Motivationsmangel leiden. Sie können tausende von Aufgaben pro Minute ausführen. Die Erforschung von Sprachmodellen könnte das Verständnis der Mechanismen und Prozesse im menschlichen Gehirn aber auch fördern, weil künstliche neuronale Strukturen leichter zu untersuchen sind als biologische.
Abweichungen
Auf der anderen Seite gilt es jedoch zu beachten, dass Verhaltensweisen von Sprachmodellen zuweilen signifikant von denen bei Menschen abweichen – trotz erster oberflächlicher Ähnlichkeit. Daher ist es schwierig, Sprachmodelle wie GPT-3 zu nutzen, um menschliches Verhalten oder geistige Repräsentation zu untersuchen, da die zugrundeliegenden KI-Mechanismen teilweise von den menschlichen abweichen. Die Unterschiede in künstlicher und menschlicher Sprachproduktion können jedoch wertvolle Hinweise für die Weiterentwicklung jener Sprachmodelle bieten, um die Sprachgenerierung noch näher an die menschliche zu bringen.
Der Aufsatz «Overlap in meaning is a stronger predictor of semantic activation in GPT-3 than in humans» auf der Webseite des Wissenschaftsjournals NATURE steht zum Download zur Verfügung.