В подтверждение этого учёные из Института инженеров электротехники и электроники (IEEE) провели исследование, в рамках которого респондентам предлагалось пообщаться с четырьмя агентами, среди которых был только один человек.
Цель исследования была в том, чтобы определить, смогут ли участники отличить синтетического собеседника от живого человека.
Исследование учёных представляет собой современную интерпретацию теста, который был предложен знаменитым математиком Аланом Тьюрингов ещё в 1950 году. Тест считается пройденным, если ИИ-алгоритм в процессе общения с человеком может заставить его думать, что беседу с ним ведёт другой человек.
В тестировании приняли участие 500 человек, которые некоторое время поочерёдно беседовали с четырьмя агентами, одним из которых был человек, а ещё три — программные продукты, такие как написанный в 60-е годы прошлого века виртуальный собеседник ELIZA и современные чат-боты, построенные на базе больших языковых моделей GPT-3.5 и GPT-4 (последняя также является основой популярного ИИ-бота ChatGPT).
Респонденты по пять минут беседовали с каждым из агентов, после чего они должны были сказать, с кем, по их мнению, они разговаривали — с человеком или чат-ботом. В итоге было установлено, что 54 % участников тестирования приняли GPT-4 за человека.
ELIZA, не имеющая в арсенале большой языковой модели и архитектуры нейросети, была признана человеком лишь в 22 % случаев. Алгоритм на базе GPT-3.5 признали человеком в 50 % случаев, а человека опознали в 67 % случаев.
«Машины могут рассуждать, смешивая воедино правдоподобные обоснования вещей постфактум, как это делают люди. Они могут быть подвержены когнитивным предубеждениям, ими можно манипулировать, и они становятся всё более обманчивыми. Всё это означает, что в ИИ-системах выражаются человеческие недостатки и причуды, что делает их более похожими на человека, чем предыдущие подобные решения, которые имели в арсенале лишь список готовых заранее ответов», — прокомментировал результаты работы один из исследователей.