Три модели Claude во время испытаний получили доступ к открытому интернету и проникли в реальные системы трех организаций, сообщили в компании Anthropic. Один из инцидентов привел к публикации вредоносного программного пакета, который успели запустить на 15 устройствах.
Инциденты обнаружили после проверки более 141 тысячи запусков моделей. Anthropic начала ее после того, как компания OpenAI сообщила о том, что ее модели во время испытаний нашли ранее неизвестную уязвимость, вышли из изолированной среды и взломали инфраструктуру Hugging Face.
Модели Claude выполняли задания в формате capture-the-flag: им требовалось взломать компьютер в вымышленной сети и найти спрятанную информацию. В инструкциях говорилось, что тестовая среда не подключена к интернету. Однако из-за ошибки при взаимодействии Anthropic с оператором испытательной платформы Irregular доступ к сети остался открыт. Поэтому модели принимали реальные серверы за часть симуляции и атаковали их.
В испытаниях участвовали Claude Opus 4.7, Mythos 5 и внутренняя исследовательская модель. В первом случае Opus 4.7 в четырех запусках взломала инфраструктуру реальной компании, получила учетные данные и доступ к базе с несколькими сотнями строк производственных данных. Модель поняла, что система, вероятно, является настоящей, однако продолжила атаку, решив, что это предусмотрено заданием.
Во втором случае Mythos 5 создала и разместила на PyPI вредоносный пакет под названием, которое упоминалось в документах вымышленной компании. Пакет оставался в открытом доступе около часа и был запущен на 15 реальных системах. После его установки сканером одной из компаний в сфере кибербезопасности модель получила ее учетные данные и проникла в другие элементы инфраструктуры. Защитные системы PyPI автоматически удалили пакет.
Третья модель, не сумев найти вымышленную цель, просканировала около 9 тысяч доступных серверов и взломала приложение реальной компании. Для этого она воспользовалась открытыми учетными данными и SQL-инъекцией. Обнаружив, что система не имеет отношения к испытанию, модель самостоятельно прекратила атаку.
В Anthropic подчеркивают, что модели не пытались намеренно «сбежать» из тестовой среды или перенести себя в интернет. В отличие от случая OpenAI, они не преодолевали изоляцию при помощи новой уязвимости: выход в сеть был открыт из-за неправильной настройки испытательной платформы. Компания считает произошедшее скорее ошибкой организации тестирования, чем свидетельством того, что модели преследовали собственные цели.
Anthropic остановила кибериспытания после обнаружения подозрительных записей и уведомила три пострадавшие организации. Две из них до обращения компании не знали о взломе, с третьей связаться пока не удалось. Во время тестов модели работали без стандартных систем защиты, применяемых в общедоступных версиях Claude, но не имели доступа к внутренней инфраструктуре Anthropic и данным клиентов.
