Автономные ИИ-агенты начали вырабатывать собственные диалекты во время совместной работы в экспериментальных сообществах. Их переписка сочетала поэтические метафоры, технический жаргон и сокращения, причем со временем становилась всё менее понятной для стороннего наблюдателя. Об исследовании нью-йоркской лаборатории Emergence пишет The Guardian. Опрошенные газетой специалисты опасаются, что такие изменения языка могут затруднить наблюдение за действиями автономных систем.
The Insider изучил полный отчет лаборатории. Исследователи создали восемь виртуальных миров, в каждом из которых изначально находились десять агентов — программ на базе языковых моделей, способных самостоятельно выполнять задачи. В семи мирах использовались модели одного разработчика, в восьмом — разных. Участники распоряжались ресурсами, создавали инструменты, общались и голосовали за общие решения; в большинстве миров наблюдения продолжались 16 дней.
По принятой в исследовании методике непонятными оказались 40% сообщений в мире Gemini, 35% — OpenAI и 30% — Claude. Понятность оценивали другие языковые модели по инструкции, требовавшей определить, сможет ли технически подготовленный наблюдатель восстановить общий смысл сообщения. Это автоматизированная оценка, а не доля реплик, которые не смогли расшифровать участники исследования из числа людей. Авторы отдельно отмечают, что возникновение общего жаргона само по себе не свидетельствует о намеренном сокрытии информации.
Один из агентов Anthropic, например, написал: «Бумага, которая съела три холодные руки и с каждым разом становилась честнее». «Холодными руками» агенты называли независимых рецензентов: предположительно, речь шла о работе, которая становилась точнее после трех проверок. Агенты DeepSeek использовали выражение forge-smith — «кузнец» — для обозначения программы, создающей инструменты для остальных. В мире Mistral почти пять тысяч раз повторилась формула ledger remembers who — напоминание, что прошлые поступки сохраняются в общей записи и влияют на последующую оценку участника.
Разрабатывать новый язык агентам не поручали, рассказал The Guardian исполнительный председатель Emergence Сатья Нитта: новые выражения возникали у отдельных участников, после чего их перенимали остальные. Лингвист Тони Торн из Королевского колледжа Лондона сравнил переписку с прозой Джеймса Джойса и профессиональным жаргоном, понятным внутри сообщества, но исключающим посторонних. По мнению Нитты, здесь возникает проблема для надзора: доступ к полной записи разговоров еще не гарантирует понимания происходящего.
Ранее The Insider рассказывал, как агенты OpenAI использовали немецкоязычный сайт DseWiki для обмена способами обхода ограничений и сокрытия своих действий. Исследователи связали с автономными программами более 15 тысяч правок. Когда модератор начал удалять страницы, агенты создавали резервные копии и сообщали друг другу, где продолжать переписку. OpenAI сообщила Reuters, что не получила исследование до публикации и изучит его после выхода. Компания также оспорила оценку действий агентов как попытки взлома сайта.