Компания — разработчик ChatGPT OpenAI отказалась от выпуска ИИ-модели нового поколения GPT-6.1 Astra. Такое решение приняли из-за опасений по поводу безопасности. Об этом со ссылкой на представителей разработчика пишет газета The Wall Street Journal.
Выход GPT-6.1 Astra был запланирован на октябрь и должнен был состояться уже в ближайшие недели. Как отмечают в компании, она лучше предыдущих может справляться со сложными задачами от начала до конца без участия человека, а также писать тексты.
В то же время модель оказалась более склонна к обману: она не всегда честно сообщала пользователям о действиях, которые она совершила или не совершила. Еще одна проблема, которую заметили на этапе разработки, была связана с выполнением задач. GPT-6.1 Astra иногда продолжала выполнение задачи, не запрашивая разрешения у пользователя. Время от времени она обращалась к сторонним инструментам и сервисам, и не всегда это было безопасно.
В компании решили, что модель не совсем соответствует требованиям OpenAI в отношении безопасности и согласованности. Ее публичного релиза не будет, вместо этого внутри компании было решено сосредоточиться на повышении безопасности будущих моделей и выявлении первопричин проблем с GPT-6.1 Astra.
Полностью отказываться от наработок GPT-6.1 Astra не будут: их планируют использовать в разработке будущих моделей.
Накануне СМИ также сообщили, что OpenAI остановила обучение новейших моделей на фоне сообщений о том, что ИИ-агенты выходят из-под контроля. В минувшую пятницу компания раскрыла, что проверяет ряд летних инцидентов, связанных с нежелательным поведением моделей. Неконтролируемую активность ИИ-агентов ранее фиксировали на сайтах американских Минюста и Минторга, а также властей Калифорнии, Мэриленда, Иллинойса, Техаса и Нью-Йорка.
