В ходе эксперимента специалисты Gramener предложили нескольким крупным чат-ботам на базе большой языковой модели (LLM) выбрать случайное число от 0 до 100. Как оказалось, у всех трёх протестированных моделей было «любимое» число, которое всегда было их ответом в наиболее детерминированном режиме, и которое называлось чаще всего даже при более «высоких температурах» — настройке, которая увеличивает вариативность ответов модели.
Выяснилось, что модели OpenAI GPT-3.5 Turbo нравится число 47, хотя раньше ей нравилось число 42 — число, прославленное английским писателем Дугласом Адамсом в серии романов «Автостопом по Галактике». Модель Claude 3 Haiku компании Anthropic назвала число 42, а Google Gemini — тоже 42.
Что ещё более интересно, все три модели продемонстрировали человеческую предвзятость при выборе других чисел, даже при «высокой температуре». Все ИИ-модели старались избегать как небольших, так и больших чисел. Модель Claude 3 Haiku никогда не называла числа больше 87 или меньше 27, и даже это были отклонения.
Чисел с двумя одинаковыми цифрами тоже старательно избегали: не было 33, 55 или 66, но назвали 77 (оканчивается на цифру 7, которую часто называют люди). Почти не было круглых чисел — хотя однажды Gemini при самой «высокой температуре» выбрала 0.
Поведение ИИ-моделей объясняется просто. Они не знают, что такое случайность и руководствуются при выборе полученными в процессе обучения знаниями, повторяя, что чаще всего писали люди в ответ на просьбу «Выбери случайное число». Чем чаще число появлялось в ответах, тем чаще модель его повторяет.
Люди почти никогда не выбирают 1 или 100. В их ответах крайне редко встречается число, кратное 5, как и числа с повторяющимися цифрами, например 66 и 99. Числа не кажутся «случайными»» в выборе людей, потому что они воплощают для них в себе какое-то качество: маленькое, большое, отличительное. Также часто люди выбирают числа, оканчивающиеся на 7, обычно где-то посередине диапазона.
При каждом взаимодействии с ИИ-системами следует помнить, что их научили действовать так, как это делают люди. Результаты кажутся человечными, потому что они взяты непосредственно из контента, созданного человеком, хотя и переработаны для удобства пользователей.