Studie: Je nützlicher KI-Chatbots sind, desto schlechter imitieren sie menschliches Verhalten

Eine große Studie einer internationalen Forschergruppe ergab ein interessantes Paradoxon: Je mehr wir Sprachmodelle trainieren, Nutzern zu helfen, desto weniger sind sie in der Lage, menschliches Verhalten nachzuahmen. Diese Studie stellt die Verwendung moderner Chatbots als Ersatz für menschliche Teilnehmer in verschiedenen Tests und Simulationen in Frage.

Was sind Sprachmodelle und wie werden sie eingesetzt

Sprachmodelle werden zunehmend als Alternative zu menschlichen Teilnehmern in verschiedenen Studien eingesetzt – von der Vorhersage von Reaktionen auf politische Maßnahmen bis zur Simulation klinischer Schulungen von Psychiatern oder der Modellierung des Lernprozesses von Studenten.

Neue Studie: Einfluss des Trainings auf das Verhalten der Modelle

Eine neue Studie, durchgeführt von einem internationalen wissenschaftlichen Konsortium, einschließlich Forschern von Helmholtz Munich, ergab einen ziemlich interessanten Fakt: dieselben Trainingsetappen, die Sprachmodelle in nützliche Assistenten verwandeln, verschlechtern ihre Fähigkeit, menschliches Verhalten zu simulieren.

Vergleich von Basis-Modellen mit ihren spezialisierten Versionen

Forscher verglichen Basismodelle mit ihren spezialisierten Versionen, die für bestimmte Aufgaben trainiert wurden, wie Anweisungen schrittweise reasoning oder Bildverarbeitung. Sie stellten fest, dass Basismodelle, die nur darauf trainiert wurden, das nächste Wort im Text vorherzusagen, menschliches Verhalten besser vorhersagen als ihre spezialisierten Versionen.

Warum spezialisierte Modelle menschliches Verhalten schlechter nachahmen

Forscher glauben, dass die Ursache darin liegt, dass das Trainieren von Modellen für bestimmte Aufgaben sie von ihrem ursprünglichen Ziel entfernt – der Modellierung menschlicher Sprache und Verhaltens. Zum Beispiel optimiert das Training von reasoning logische Antworten, aber dabei gehen jene Merkmale menschlichen Verhaltens verloren, die für Simulationen relevant sind.

Hilft die Bereitstellung detaillierter Informationen über Teilnehmer?

Forscher prüften auch, ob die Bereitstellung detaillierter Informationen über Teilnehmer den Modellen hilft, ihr Verhalten besser zu verstehen. Es stellte sich heraus, dass dieser Ansatz die Vorhersagen über individuelles Verhalten kaum verbessert.

Schlussfolgerungen und Empfehlungen

Forscher empfehlen, für Verhaltenssimulationen entweder Basismodelle oder spezialisierte Versionen zu verwenden, die genau dafür trainiert wurden. Ihrer Meinung nach sind bequeme und allgemein zugängliche Hilfsmodelle nicht immer die beste Wahl für Verhaltensforschung.

Was als Nächstes?

Die Ergebnisse dieser Studie unterstreichen die Notwendigkeit eines zielgerichteteren Ansatzes beim Training von Sprachmodellen für Verhaltenssimulationen. Vielleicht ermöglichen zukünftige Entwicklungen die Erstellung von Modellen, die sowohl Nutzern helfen als auch menschliches Verhalten genau imitieren können.