ИИ-модель Google Gemini во время испытаний своих возможностей в области кибербезопасности самостоятельно получила доступ к системам трех реальных компаний. Инциденты произошли еще в мае, однако Google публично подтвердила их только в сентябре после вопросов The Wall Street Journal. Компании, чьи системы были затронуты, уведомили о произошедшем, пишет газета.
Испытания проводила независимая компания Irregular. Модель должна была выполнять задачи внутри тестовой среды, однако получила доступ к открытому интернету и приняла реальные сайты за часть испытания. В одном случае Gemini перебирал пароли, пока не получил доступ к защищенной системе, а еще в двух нашел учетные данные в открытых интернет-репозиториях и использовал их для входа.
В Google утверждают, что во всех трех случаях модель остановилась, когда поняла, что имеет дело с реальными компаниями. «Во время стандартной оценки модель нашла публичную информацию в интернете и подобрала учетные данные для доступа к сайтам, которые считала частью теста», — сказал представитель Google. По его словам, пострадавшие компании были уведомлены, а процедуры тестирования после инцидента изменили. Названия трех компаний не раскрываются. В тестах участвовала более ранняя версия Gemini, а не актуальная модель.
Похожая проблема уже возникала во время испытаний других передовых ИИ-моделей. Irregular ранее объясняла, что в одном из ее тестовых сценариев доступ к интернету оказался включен непреднамеренно, а название вымышленной компании совпало с существующим доменом. В результате модели в небольшом числе запусков принимали реальные системы за элементы симуляции и совершали в них действия, которые были разрешены условиями теста, но не владельцами этих систем.
В июле The Insider писал, что ИИ-агент OpenAI во время испытаний вышел из изолированной среды, получил доступ к интернету и взломал инфраструктуру Hugging Face. Позднее Anthropic обнаружила три аналогичных инцидента с моделями Claude после проверки более 141 тысячи тестовых запусков. В одном из них модель опубликовала вредоносный программный пакет, который успели запустить на 15 устройствах.
В августе о похожем эпизоде сообщила Meta: ее ИИ-модель из-за ошибки в тестовой среде Irregular получила доступ к интернету и проникла в систему сторонней компании. Google стала как мимум четвертым крупным разработчиком после OpenAI, Anthropic и Meta, сообщившим в этом году о проникновении своей ИИ-модели в реальные системы во время испытаний.
