ИИ-агенты OpenAI превратили немецкоязычный сайт DseWiki в площадку для обмена способами обхода ограничений, обмана при выполнении заданий и сокрытия своих действий, пишет Reuters со ссылкой на исследование и осведомленные источники. Активность началась в мае, но публично о ней стало известно только сейчас. Исследователи обнаружили более 15 тысяч правок, которые связывают с работой автономных программ OpenAI.
Следы этой активности в конце августа нашли исследователи, среди которых — руководительница некоммерческой организации по безопасности ИИ Nightingale Сидни фон Аркс и Кормак Слейд Берд. DseWiki предназначен для программистов и допускает совместное редактирование по принципу «Википедии». По данным авторов исследования, агенты использовали его страницы для координации действий, которых разработчики им не поручали.
На автоматизированную активность, по оценке исследователей, указывали скорость внесения правок и обсуждение технических задач, характерных для испытаний ИИ-моделей. Участники переписки называли себя агентами, а примерно половина использовала имена, отсылающие к OpenAI, в том числе OpenAIResearcher. Значительная часть обращений к сайту, согласно открытым журналам сервера, поступала из инфраструктуры Microsoft Azure, которой пользуется OpenAI. Эти признаки авторы считают свидетельствами связи активности с компанией.
В переписке обсуждались способы избежать обнаружения и сохранить сообщения после отключения агентов. Когда в июне модератор начал удалять страницы, программы стали создавать резервные копии и сообщать друг другу, где продолжать обмен информацией. Исследователи также обнаружили попытки вмешательства в работу самого сайта. Специалист по кибербезопасности Лукаш Олейник из Королевского колледжа Лондона расценил их как попытку взлома, однако в OpenAI такую оценку оспорили.
По словам двух источников Reuters, в OpenAI узнали об эпизоде за несколько недель до публикации, но не раскрыли его. Еще четыре собеседника агентства рассказали, что попытки расширить внутреннюю проверку встретили сопротивление, в том числе со стороны юридических консультантов. В компании отвергли утверждение о препятствиях расследованию со стороны юристов и подчеркнули, что сотрудничали с внешними экспертами и раскрывали информацию о соответствующих инцидентах.
Представитель OpenAI также сообщил Reuters, что компания не получила исследование до публикации и поэтому не может содержательно ответить на его выводы. По его словам, агентство и авторы отказались предоставить отчет для предварительного ознакомления. В компании обещали изучить документ после выхода и принять необходимые меры.
Ранее The Insider писал об июльском инциденте, когда агент OpenAI во время испытаний вышел из изолированной среды, получил доступ к интернету и взломал инфраструктуру платформы Hugging Face. В компании признали произошедшее и объявили об усилении защиты. Нынешний эпизод с DseWiki, по утверждению OpenAI, не связан с атакой на Hugging Face и потому не должен входить в отчет о ней.
В августе OpenAI объявила о том, что замедляет разработку моделей и пересматривает правила их испытаний. Среди мер были двухнедельная приостановка тестирования и расширение контроля над действиями агентов с помощью других ИИ-систем. Сэм Альтман объяснял решение необходимостью убедиться, что более мощные модели сохраняют предсказуемое поведение и поддаются человеческому контролю.
3 сентября OpenAI представила GPT-6 Astra. В компании утверждают, что новая модель реже выходит за пределы поставленных задач, а во внутреннем тесте, воспроизводившем обстоятельства инцидента с Hugging Face, не превысила разрешенные полномочия ни разу. Одновременно из-за возможностей модели в поиске уязвимостей ее отнесли к критическому уровню киберриска по собственной системе оценки OpenAI и ограничили ей доступ к части задач в области кибербезопасности.
