Новый инструмент Meta для распознавания сгенерированных искусственным интеллектом изображений не смог верифицировать 55% картинок, созданных ее собственной моделью Muse Image, после того как их кадрировали. Это выяснилось в ходе анализа, проведенного агентством Reuters. Инструмент компания анонсировала на этой неделе одновременно с запуском Muse Image.
Журналисты проверили 40 изображений, сгенерированных Muse Image. Все оригинальные картинки инструмент распознал корректно, однако после обрезки примерно до трети или половины исходного размера он перестал определять больше половины из них как созданные ИИ. При этом на сайте Meta говорится, что инструмент способен опознавать сгенерированные ее нейросетями изображения даже после кадрирования — благодаря невидимой системе водяных знаков Content Seal, которая встраивается в каждую картинку Muse Image.
В ответ на запрос Reuters в Meta подчеркнули, что инструмент работает в режиме предварительной версии. Водяной знак рассчитан на то, чтобы переживать типичные правки, но при сильной обрезке он может теряться, признали в компании. Конкуренты Meta — Google и OpenAI — ранее также предупреждали, что их системы распознавания не дают полной защиты от методов изменения изображений.
Профессор компьютерных наук Университета штата Нью-Йорк в Буффало Сивэй Люй, исследующий криминалистику ИИ-изображений, отметил, что не тестировал инструмент Meta, но у систем на основе водяных знаков есть «врожденные ограничения». Он сказал:
«Методы на основе водяных знаков могут быть очень эффективными, пока знак остается нетронутым, но любое изменение, которое удаляет или ослабляет встроенный сигнал, — кадрирование, изменение размера, сильное сжатие или редактирование — может снижать их эффективность в зависимости от того, как устроен водяной знак».
Отмечается, что это может затруднить выявление дипфейков в насыщенный выборами год, на который в США приходятся промежуточные выборы в Конгресс. В марте наблюдательный совет Meta призвал компанию активнее бороться с «распространением вводящего в заблуждение ИИ-контента» на ее платформах и инвестировать в более мощные инструменты распознавания.
Ранее хакеры взломали множество популярных аккаунтов в Instagram, попросив ИИ-чат-бота поддержки Meta сменить привязанную к ним электронную почту.
