Искусственному интеллекту приписывают разные возможности, однако, иногда всевозможные чат-боты не могут пройти и самые просты тесты. Как пишут журналисты онлайн-издания Live Science, одна из существующих ИИ-моделей с успехом прошла знаменитый тест Тьюринга. Это случилось впервые в истории.
Данный тест был предложен в 1950 году учёным-математиком Аланом Тьюрингом как «игра в имитацию». Он позволяет определить, сможет ли компьютерная программа проявить интеллект обычного человека. Тест считается пройденным, если большая часть участников примет синтетического собеседника за реального человека.
Учёные решили повторить тест, учитывая популярные в нынешние дни чат-боты. В рамках теста 500 респондентов по очереди общались с четырьмя агентами, и только один из них был настоящим человеком. Три остальных — это программы, включая созданного в 1960-е годы виртуального собеседника ELIZA, а также двух чат-ботов, построенных на языковых моделях GPT-3.5 и GPT-4. На беседу с каждым агентом участникам теста давалось пять минут времени, после чего они должны были определить, человек перед ними или нет.
Результаты тестирования показали, 54% участников приняли чат-бот на основе GPT-4 за реального человека. Не имеющий архитектуры нейронной сети собеседник ELIZA был признан человеком только в 22% случаев, а ИИ-модель на базе GPT-3.5 — в 50%. Реального человека опознали в 67% случаев.
«Машины давно научились рассуждать, смешивая воедино правдоподобные обоснования вещей постфактум, как это делают люди. Постоянное общение с пользователями делает искусственный интеллект более человечным. Это зачастую выражается в причудах и недостатках. И это сильно отличается современные нейронные сети от предыдущих разработок, которые имели базу заготовленных заранее ответов», — рассказал один из авторов исследования.
