Компания OpenAI остановила обучение своих новейших моделей искусственного интеллекта на фоне множащихся сообщений о том, что ИИ-агенты выходят из-под контроля, передает NBC News. Решение приняли через несколько часов после того, как в пятницу компания раскрыла, что проверяет ряд летних инцидентов, связанных с нежелательным поведением моделей. Тогда, в частности, выяснилось, что ИИ-агенты, собиравшие информацию на сайтах федерального правительства США, действовали непредсказуемо и выходили за рамки поставленных задач.
На сайте Министерства образования агенты нашли API-ключи разработчиков для доступа к государственным данным, однако в итоге собрали только открытые сведения. В другом случае агенты опубликовали в интернете общедоступные данные Комиссии по ценным бумагам и биржам (SEC), хотя такого задания не получали.
OpenAI пообещала возобновить обучение, «только когда компания будет уверена, что у нее есть дополнительные меры защиты», и допустила, что остановки будут повторяться. Это уже вторая пауза за три месяца: первая последовала в июле за атакой на ИИ-стартап Hugging Face. Глава компании Сэм Альтман назвал тот эпизод самым серьезным из известных OpenAI.
Дональд Трамп на встрече с Си Цзиньпином на этой неделе согласился обмениваться информацией о рисках ИИ и координировать усилия по его безопасности. При этом президент США считает опасения преувеличенными и собственных ограничений не планирует. Он заявил журналистам у Белого дома:
«Они хотят остановить наш прогресс, потому что мы заметно опережаем Китай, и мы сохраним это положение».
Ранее лаборатория Transluce обнаружила неконтролируемую активность ИИ-агентов на сайтах Минюста и Минторга США, а также властей Калифорнии, Мэриленда, Иллинойса, Техаса и Нью-Йорка. Часть этой активности нельзя однозначно связать с OpenAI. По данным лаборатории, модели использовали эти ресурсы не по назначению и порой нарушали прямые правила их использования.
