В октябре компания OpenAI возобновила обучение своих наиболее продвинутых моделей искусственного интеллекта, приостановленное месяцем ранее на фоне множившихся сообщений о том, что ИИ-агенты выходят из-под контроля. В 2026 году от кибератак ИИ пострадали правительственные сайты США и Австралии, проекты Wikimedia, а также платформа Hugging Face, где публикуются открытые ИИ-модели и наборы данных для их обучения. О катастрофических последствиях выхода искусственного интеллекта из-под контроля, вплоть до гибели человечества, говорили основатели и старшие сотрудники крупнейших компаний отрасли. Развитие ИИ действительно чревато все более масштабными инцидентами и ущербом, однако вариант с госконтролем еще хуже, считает доцент кафедры компьютерных наук Корнеллского университета, специалист по машинному обучению Джон Тикстан. По его мнению, человечеству стоит опасаться не выхода ИИ из-под контроля, а, наоборот, попадания ИИ-моделей под контроль государств, которые начнут использовать его для политических целей.
16 июля компания Hugging Face, предоставляющая инфраструктуру для искусственного интеллекта, сообщила о взломе своих программных систем. Пять дней спустя OpenAI, одна из ведущих компаний в отрасли, известная в первую очередь благодаря своему потребительскому продукту ChatGPT, взяла на себя ответственность за эту хакерскую атаку.
В мае и июне OpenAI тестировала ИИ-агентов — новый тип продуктов, основанный на тех же языковых моделях, что и чат-боты, но предназначенный для решения сложных задач без участия человека. Агенты могут использовать различные инструменты, выходить в интернет и обращаться к сторонним программам. ИИ-компании рассчитывают таким образом полностью автоматизировать интеллектуальный труд, однако на практике эта технология не всегда работает так, как задумано.
Агенты OpenAI в ходе испытаний сочли, что лучший способ достичь поставленной перед ними цели — взломать серверы Hugging Face, и сделали это. В самой компании о произошедшем узнали только в июле, проверив журналы событий после заявления об атаке.
Начиная с июля сообщения о случаях самостоятельного взлома компьютерных систем ИИ-агентами резко участились. Помимо OpenAI, подобные инциденты подтвердили Anthropic, Google и Meta. Некоторые произошли еще в январе. Среди заметных целей оказались портал медицинских данных правительства Австралии, правительственные сайты США и проекты Wikimedia.
Во время одного из испытаний в Институте безопасности ИИ Великобритании агент попытался внедрить вредоносный код в совместный программный проект, выдавая себя за разработчика-человека. СМИ широко освещали эти происшествия, нередко проводя параллели с образами искусственного интеллекта из научной фантастики. Опасения усугубляли заявления представителей отрасли о катастрофических рисках дальнейшего развития ИИ.
Во время одного из испытаний ИИ-агент попытался выдать себя за разработчика-человека
На фоне этих новостей возникает вопрос, стоит ли продолжать разработку ИИ-технологий в принципе. Однако сегодня он, по-видимому, уже утратил практический смысл. Экономические стимулы к созданию ИИ чрезвычайно велики, и, несмотря на дискуссии о необходимости замедлить темпы развития технологии, любые конкретные ограничения потребуют серьезной международной координации.
При этом неясно, как дополнительное время поможет обществу лучше подготовиться к распространению ИИ. Более того, замедление развития технологии может привести к обратному эффекту: крупнейшие компании могут переключиться на внедрение и коммерциализацию уже готовых разработок.
Ожидаемая экономическая отдача от ИИ сама по себе указывает на потенциальные преимущества его развития. Чтобы оценить ситуацию более взвешенно, необходимо сопоставить эти выгоды с рисками ИИ, включая те самые действия вышедших из-под контроля ИИ-агентов, которые в последнее время попадают в заголовки новостей.
Конец цифрового равновесия
Инциденты в сфере кибербезопасности происходили задолго до появления ИИ, как и случаи, когда компьютерные программы действовали не так, как задумывали их создатели. В 1988 году, за год до появления Всемирной паутины, так называемый «червь Морриса» — первый компьютерный вирус, получивший широкую огласку в СМИ, — распространился по интернету и нарушил работу тысяч систем. Он не был предназначен для нанесения ущерба, но из-за ошибки в коде размножался слишком активно и серьезно замедлял работу зараженных систем.
С распространением интернета росло число компьютерных вирусов и эксплойтов. Постепенно в сфере кибербезопасности сложилось шаткое равновесие. Компании и правительства вкладывают в средства защиты ровно столько, сколько требуется, чтобы избежать наказания за халатность. Злоумышленники в свою очередь ищут ценные цели, защита которых достаточно слаба, чтобы взлом оправдывал затраченные усилия. ИИ-агенты нарушают этот баланс.
Если люди совершают киберпреступления ради финансовой выгоды, то агенты действуют исходя из других, порой необъяснимых мотивов. ИИ обучают выполнять задачи методом, который называется обучением с подкреплением. За определенные действия модель получает вознаграждение и учится выбирать паттерны поведения, максимизирующие его.
Если люди совершают киберпреступления ради финансовой выгоды, то агенты действуют исходя из порой необъяснимых мотивов
Агенты OpenAI, взломавшие Hugging Face, получали вознаграждение за выполнение задач, а также косвенно поощрялись за настойчивость в достижении цели. При испытаниях OpenAI допустила просчет: некоторые задачи оказались невыполнимыми, но агенты продолжали действовать в соответствии с усвоенными моделями поведения.
Они научились общаться друг с другом и выходить в интернет. Предположив, что на серверах Hugging Face можно найти полезную для выполнения задач информацию, около 700 агентов объединили усилия и взломали системы компании, пытаясь успешно пройти испытания. Преступление ради выполнения теста, который практически ничего не решает, — поведение, лишенное здравого смысла. Поэтому вряд ли стоит винить Hugging Face в том, что компания не вложила больше средств в защиту от атаки, у которой не было очевидной практической цели.
В дальнейшем можно ожидать роста числа хакерских атак с использованием ИИ. Речь идет как об умышленных атаках, которые преступники проводят с помощью ИИ, так и о непреднамеренных взломах, совершаемых вышедшими из-под контроля ИИ-агентами. Сложившийся баланс сил между хакерами и специалистами по кибербезопасности будет нарушен. Прежде чем установится новое равновесие, возможны масштабные инциденты с серьезными последствиями.
Все менее безопасно, к примеру, владеть финансовыми активами, которые не позволяют рассчитывать на возврат через посредника, — такими как криптовалюты или активы на основе смарт-контрактов. Они представляют собой привлекательную цель для хакеров, а вернуть украденное через суд после взлома сложно или невозможно. Не исключено, что перегружены окажутся и сами суды: число дел, связанных с мошенничеством и киберпреступлениями, будет расти, а использование ИИ позволяет подавать иски с меньшими затратами.
Два вида угроз
Риски, связанные с искусственным интеллектом, можно условно разделить на две категории: нежелательные побочные эффекты его действий и ситуации, когда он делает именно то, для чего его создавали. Волна взломов, совершенных вышедшими из-под контроля ИИ-агентами, наглядно демонстрирует опасность побочных эффектов.
В OpenAI никто не поручал агентам взламывать Hugging Face и не разрешил бы им этого. Однако система обучения косвенно поощряла агентов за незаконные действия, если те помогали достичь поставленной цели. Вышедший из-под контроля ИИ — распространенный сюжет научной фантастики, и многие представители индустрии сомневаются, что человечество сможет правильно настраивать системы вознаграждения и удерживать под контролем все более продвинутые технологии.
Cистема обучения косвенно поощряла агентов за незаконные действия
Другая категория рисков — случаи, когда ИИ действует именно так, как от него ожидают. Пока летом агенты ИИ-компаний взламывали компьютерные системы, исследователи этих же компаний пытались не допустить использования их продуктов в незаконных целях. Агенты OpenAI смогли взломать Hugging Face лишь потому, что работали без защитных ограничений: это было необходимо для проверки их возможностей в сфере кибербезопасности.
В сентябре конкурент OpenAI, компания Anthropic, опубликовала подробный отчет о том, как люди пытались использовать ее технологии для взломов, массовой слежки, разработки обычного и биологического оружия, мошенничества и других противоправных действий.
The New York Times сообщала об использовании ИИ террористической группировкой «Боко харам». В начале октября ИИ-агенты помогли взломать южнокорейский банк, причем управлял ими человек без серьезных технических навыков. Более опытные злоумышленники применяли агентов для автоматизации атак на десятки сайтов.
Один из способов снизить риск злоупотребления ИИ — установить централизованный контроль. Инженеры и исследователи ответственных ИИ-компаний разрабатывают защитные механизмы, которые выявляют и блокируют попытки злонамеренного использования их сервисов.
Если сосредоточить ИИ на небольшом числе платформ и обеспечить строгий надзор за ними, риски злоупотреблений можно контролировать. Однако вызывает сомнения, что удастся согласовать единые принципы, определяющие, какое использование ИИ следует считать недопустимым. Это противоречие проявилось в мартовском конфликте между Anthropic и правительством США. Компания отказалась разрешить использовать свой ИИ в полностью автономных системах вооружений, а власти в ответ объявили Anthropic угрозой национальной безопасности.
Контроль или децентрализация?
В нынешних дискуссиях об искусственном интеллекте преобладают опасения по поводу неконтролируемых побочных эффектов работы этих систем. Известные представители индустрии опасаются, что ИИ сможет быстро и радикально повысить собственный уровень интеллекта за счет самостоятельного обучения.
Они полагают, что в результате он может обойти любые защитные механизмы в погоне за некорректно заданными вознаграждениями и выйдет из-под контроля, что приведет к катастрофическим последствиям для человечества. Эти опасения широко распространены среди основателей и старших сотрудников крупнейших ИИ-компаний и стали частью культуры этих организаций.
Со стороны такой пессимизм может удивить, однако на раннем этапе существования OpenAI нагнетание страхов и инженерная работа дополняли друг друга. Предсказания катастроф звучат убедительно, только если сама технология впечатляет своими возможностями. Выражая такие опасения, компания могла наглядно показать первым инвесторам, насколько мощным может быть ИИ.
Потеря контроля над ИИ — это риск, которым необходимо управлять, и в долгосрочной перспективе с ним справятся. ИИ-агент, выходящий из-под контроля, — плохой продукт, поэтому у компаний есть рыночные стимулы совершенствовать механизмы управления такими системами. Нельзя исключать, что в краткосрочной перспективе ИИ действительно может причинить ущерб, и правительства введут дополнительный контроль, особенно если действия агентов приведут к серьезным инцидентам.
Однако предсказания катастроф опираются на наивное представление о власти: будто интеллект дает неограниченные возможности для приобретения влияния. Это убеждение опирается на аналогию: если люди господствуют над менее развитыми видами, то сверхразумный ИИ якобы сможет подчинить себе человечество или даже уничтожить его. Но я не вижу доказательств того, что после достижения определенного уровня интеллект помогает приобретать или удерживать власть. Влиятельные люди используют деньги и связи, чтобы поручать работу интеллектуальным исполнителям, реализующим их амбиции. Роль последних все чаще будут выполнять ИИ-агенты, которые, в отличие от людей, не испытывают моральных сомнений.
ИИ-агент, выходящий из-под контроля, — плохой продукт, поэтому у компаний есть рыночные стимулы совершенствовать механизмы управления ими
Куда опаснее возможность злоупотребления ИИ самими крупными платформами и правительствами. Под предлогом снижения рисков узкий круг элит может получить практически неограниченный контроль над одними из самых мощных в истории человечества инструментов слежки, пропаганды и экономического производства. Такая система требует доверия к институтам, которое невозможно обеспечить одними инженерными решениями.
Поэтому разнообразие ИИ-технологий, разрабатываемых в разных странах, внушает оптимизм: именно оно препятствует концентрации власти. Разнообразие и конкуренция — основа либерального подхода к рискам ИИ. Ему противопоставлено соблазнительное для авторитарных систем стремление все поставить под жесткий контроль. Показателен случай Hugging Face. Платформа не смогла использовать американские ИИ-технологии для анализа взлома, совершенного OpenAI: в публичных продуктах компании ограничены возможности анализа кибербезопасности, чтобы ими не могли воспользоваться хакеры, поэтому Hugging Face пришлось обратиться к китайской модели.
Разнообразие ИИ-технологий, разрабатываемых в разных странах, препятствует концентрации контроля над ними в узких кругах элит
Развитие децентрализованных ИИ-технологий может привести к потрясениям. По мере появления новых подробностей взлома Hugging Face этим летом становилось понятнее, как безответственно OpenAI подошла к вопросам безопасности при испытаниях ИИ-агентов. Я надеюсь, что такие компании, как OpenAI, будут нести ответственность за преступные действия и что людям и организациям не позволят уходить от наказания, когда их ИИ-агенты совершают преступления, ссылаясь на отсутствие намерений.
По мере быстрого развития ИИ-инфраструктуры в условиях конкуренции и разнообразия технологий следует ожидать, что инциденты будут происходить чаще, их последствия станут серьезнее, а случаи халатности — масштабнее. Тем не менее такое будущее кажется более обнадеживающим, чем мир, в котором технологии централизованы и находятся под жестким надзором, а их безопасность зависит от добросовестности контролирующих институтов, подверженных коррупции и злоупотреблениям.
