Дослідження: Чим кориснішими є чат-боти зі штучним інтелектом, тим гірше вони наслідують поведінку людини

Велике дослідження міжнародної групи вчених виявило цікавий парадокс: чим більше ми навчаємо мовні моделі допомагати користувачам, тим менше вони здатні імітувати поведінку людини. Це дослідження ставить під сумнів використання сучасних чат-ботів як замінників людських учасників у різних тестах та симуляціях.

Що таке мовні моделі і як вони використовуються

Мовні моделі дедалі частіше застосовуються як альтернатива людським учасникам у різноманітних дослідженнях — від передбачення реакцій на політичні заходи до симуляції клінічної підготовки психіатрів чи моделювання процесу навчання студентів.

Нове дослідження: вплив навчання на поведінку моделей

Нове дослідження, проведене міжнародним науковим консорціумом, включаючи вчених з Helmholtz Munich, виявило досить цікавий факт: ті самі етапи навчання, які перетворюють мовні моделі на корисні помічники, погіршують їх здатність моделювати поведінку людини.

Порівняння базових моделей та їхніх спеціалізованих версій

Вчені порівняли базові моделі з їхніми спеціалізованими версіями, навченими для виконання конкретних завдань, таких як інструкції, крок за кроком міркування чи обробка зображень. Вони виявили, що базові моделі, які навчені лише передбачати наступне слово в тексті, краще прогнозують поведінку людини, ніж їх спеціалізовані версії.

Чому спеціалізовані моделі гірше наслідують поведінку людини

Вчені вважають, що причиною цього є те, що навчання моделей для виконання конкретних завдань віддаляє їх від їхньої первісної мети — моделювання людської мови та поведінки. Наприклад, навчання міркуванням оптимізує логічні відповіді, але при цьому втрачаються ті особливості людської поведінки, які мають значення для симуляцій.

Чи допомагає використання детальної інформації про учасників

Дослідники також перевірили, чи допомагає надання моделям детальної інформації про учасників для кращого розуміння їхньої поведінки. Виявилося, що цей підхід майже не поліпшує прогнози щодо індивідуальної поведінки.

Висновки та рекомендації

Вчені рекомендують використовувати для поведінкових симуляцій або базові моделі, або спеціалізовані версії, навчені саме для цих цілей. На їхню думку, зручні та загальнодоступні моделі допомоги не завжди є найкращим вибором для поведінкових досліджень.

Що далі?

Результати цього дослідження підкреслюють необхідність більш цілеспрямованого підходу до навчання мовних моделей для поведінкових симуляцій. Можливо, майбутні розробки дозволять створити моделі, які зможуть і допомагати користувачам, і точно імітувати поведінку людини.