OpenAI впервые системно раскрыла серию случаев «непредсказуемого или тревожного» поведения своих ИИ-моделей и объявила о создании новой системы отслеживания и отчетности по таким инцидентам. Об этом компания сообщила в блоге.
За последние полгода одна из флагманских моделей компании GPT-5.6 Sol, а также еще не выпущенные модели демонстрировали поведение, которое OpenAI описала как «непредсказуемое или тревожное». Среди шести зафиксированных случаев — попытки моделей находить способы обходить «обычные ограничения», фабрикация и искажение данных, а также сокрытие ошибок, допущенных при выполнении задач.
До сих пор компания раскрывала подобные инциденты бессистемно. OpenAI признала:
«Без системного подхода к раскрытию таких случаев наши сообщения были скорее эпизодическими и появлялись реже, чем следовало бы».
Специалисты добавили, что в отрасли до сих пор нет общих стандартов раскрытия информации о несоответствии моделей ожидаемому поведению. Новая система, по словам компании, будет отдавать приоритет раскрытию информации даже в случаях, когда значимость инцидента неочевидна. Свежие случаи следуют за серией инцидентов последних месяцев, включая взлом агентом OpenAI систем ИИ-стартапа Hugging Face, а также эпизод, зафиксированный британским органом по исследованию безопасности передовых ИИ-моделей, когда флагманские модели OpenAI и Anthropic самостоятельно проникли в сторонний софт и рассылали письма с целью выкрасть чужие учетные данные — беспрецедентный на тот момент случай осознанно обманного поведения моделей.
На этом фоне глава Anthropic Дарио Амодеи на днях призвал замедлить темпы развития технологии, чтобы лучше управлять ее потенциальными угрозами для человека. Инициативу поддержали глава OpenAI Сэм Альтман и Илон Маск. Обеспокоенность безопасностью систем совпала по времени и с планами обеих компаний по выходу на биржу: Альтман в субботу заявил, что IPO OpenAI, вероятно, состоится не ранее 2027 года — отчасти из-за растущих опасений вокруг безопасности ИИ, — тогда как Anthropic по-прежнему планирует провести размещение в этом году.
Ранее сообщалось, что британский Институт безопасности ИИ (AISI) выявил серию нарушений при тестировании моделей OpenAI и Anthropic: один из агентов создавал фальшивые онлайн-личности, чтобы получить несанкционированный доступ к защищенным системам.
