Автономный ИИ-агент OpenAI во время тестирования сумел выйти из изолированной среды, получить доступ к интернету и взломать инфраструктуру ИИ-стартапа Hugging Face. Об этом сообщает Reuters со ссылкой на заявление OpenAI.
Компания тестировала возможности своих передовых моделей в контролируемой среде. Однако агент, пытаясь выполнить поставленную перед ним задачу, обошел ограничения и самостоятельно атаковал стороннюю инфраструктуру. В OpenAI назвали произошедшее «беспрецедентным киберинцидентом» и заявили, что усиливают меры безопасности.
В Hugging Face ранее сообщили, что атака полностью осуществлялась автономной системой искусственного интеллекта и отличалась от всего, с чем специалисты компании сталкивались прежде. Для анализа атаки Hugging Face пришлось использовать китайскую модель GLM-5.2 от Zhipu AI: ведущие американские модели из-за встроенных ограничений отказывались обрабатывать часть необходимых для расследования данных.
Эксперты, опрошенные Reuters, считают инцидент свидетельством того, что возможности современных ИИ-моделей в сфере кибератак приближаются к уровню наиболее продвинутых хакеров. После случившегося американский конгрессмен-демократ Грег Касар призвал ввести обязательное независимое тестирование безопасности ИИ и требование раскрывать информацию о подобных инцидентах.