Все больше государств внедряют ИИ в свои военные структуры, и как регулировать этот процесс, неясно. В феврале это уже привело к громкому скандалу между Минобороны США и компанией Anthropic. Технологию используют для анализа больших объемов данных и выбора целей в логистике и разведке, а также для помощи в принятии решений. Компании, разрабатывающие ИИ-системы для военных, считают распространение искусственного интеллекта в военной сфере неизбежным. Последствия появления ИИ на поле боя определяют именно военные — выбирая поставщиков, системы и способы применения этой технологии. Однако люди в целом склонны преувеличивать возможности любых новых технологий, что в данном случае может вести к росту напряженности в мире и критических ошибок, связанных со сбоями систем. Помочь могут контроль безопасности на этапе разработки военных ИИ-систем и обучение военнослужащих и их руководителей критическому анализу их ответов, считает Жаклин Шнайдер, директор Инициативы по военным играм и симуляциям кризисов в Гуверовском институте войны, революции и мира (Стэнфордский университет).
ИИ, похоже, становится неотъемлемой частью военных конфликтов. Сообщалось, что Израиль применял системы Gospel и Lavender для анализа разведданных и составления списков целей в Газе. США внедряют ИИ в логистические и разведывательные процессы, используя, например, систему Maven Smart System компании Palantir для анализа спутниковых снимков, постановки задач для беспилотников и помощи командирам в принятии решений. В перспективе речь может идти об автономных роях дронов и, возможно, даже об управлении боевыми операциями с помощью ИИ.
Компании, разрабатывающие такие системы, считают внедрение искусственного интеллекта в военной сфере неизбежным. Как заявили в Palantir, одном из ключевых поставщиков ИИ-платформ для американских силовых ведомств, «вопрос не в том, появится ли оружие с ИИ, а в том, кто его создаст и для каких целей».
Вопрос не в том, появится ли оружие с ИИ, а в том, кто его создаст и для каких целей
Недавний спор между министром обороны США Питом Хегсетом и ИИ-компанией Anthropic показывает, что именно от военных зависит, приведет ли развитие ИИ к росту нестабильности или снизит ее. Речь идет о выборе подрядчиков, алгоритмах, на которые будут полагаться ведомства, и способах внедрения технологии.
Искусственный интеллект может обеспечить серьезные преимущества в бою, упростить логистику и мобилизацию, а также повысить эффективность систем раннего предупреждения. Он потенциально способствует более точечному ведению войн и снижению влияния таких эмоций, как страх, гнев или усталость, нередко становившихся косвенной причиной нарушений международного гуманитарного права.
Решения, которые сегодня принимают военные и разработчики ИИ, определят, станет ли эта технология инструментом сдерживания или же, напротив, будет подталкивать государства к развязыванию новых конфликтов.
Проблема оценки возможностей
Главный риск внедрения любой новой технологии состоит в критическом изменении баланса сил: власти одних стран могут считать, что получили решающее преимущество, позволяющее атаковать, а власти других — что оказались в уязвимом положении и вынуждены нанести удар первыми. На практике инновации редко кардинально меняют способность той или иной стороны захватывать и удерживать территории, но сама вера в существование такой технологической «волшебной палочки» чрезвычайно сильна.
Завышенная оценка боевого потенциала новых систем повышает вероятность упреждающих ударов, наступательных операций, а также просчетов, связанных с техническими сбоями. Согласно исследованию киберуязвимостей и конфликтов, систематическая переоценка участниками военных игр наступательных возможностей в киберпространстве повышала вероятность первых ударов по ядерным силам противника.
Инновации редко кардинально меняют способности сторон захватывать и удерживать территории, но сама вера в существование такой технологической «волшебной палочки» чрезвычайно сильна
Опасность, связанную с новыми технологиями, усиливают и некоторые особенности человеческой психологии. Один из примеров — эффект Даннинга-Крюгера: люди с низким уровнем компетенции склонны переоценивать собственные возможности. Они не видят своих ограничений, поэтому проявляют чрезмерную уверенность в областях, где у них мало экспертизы. Как отмечают авторы определения, такие люди «сталкиваются с двойной проблемой: они делают ошибочные выводы и принимают неверные решения, а их некомпетентность не позволяет им это осознать».
Склонность к преувеличению технологических возможностей может усиливаться, когда ответственные за принятие решений сталкиваются с ситуациями, из которых нет простого выхода, или когда применение технологии укладывается в уже выбранный ими курс.
В упомянутой выше военной игре участники оказались в безвыходной ситуации — на грани ядерного конфликта, без ясных путей к деэскалации или победе. Получив возможность совершить кибератаку на системы управления стратегическим арсеналом противника, игроки демонстрировали склонность игнорировать риски, связанные с этим решением. Хотя участникам напрямую указывали, что последствия такой атаки неизвестны, они предпочли использовать ее для выхода из кризиса.
Наиболее ярко это проявлялось у тех, кто плохо разбирался в ядерной стратегии: именно они чаще были готовы как воспользоваться киберуязвимостью, так и наносить удары по ядерным арсеналам.
Насколько ИИ эффективен на самом деле
Не переоценивают ли возможности ИИ? Согласно новым исследованиям, такая вероятность есть. Эксперименты с участием молодых учителей и неопытных инвесторов демонстрируют, что в случаях с ИИ эффект Даннинга-Крюгера проявляется особенно сильно.
Более того, многие ИИ-системы изначально создаются так, чтобы вызывать доверие у пользователей, из-за чего они занижают уровень неопределенности в своих ответах и даже намеренно ее скрывают. В результате появляются модели и агенты, которые подают информацию слишком уверенно, а пользователи, уже склонные доверять технологии, могут полагаться на нее сильнее, чем это оправдано.
Такие тенденции вызывают тревогу, поскольку, несмотря на значительный прогресс в развитии ИИ, у существующих моделей сохраняются фундаментальные проблемы с безопасностью и надежностью. Исследования показывают, что в условиях неопределенности ИИ может проявлять чрезмерную уверенность: например, в игре го агент предпринимал рискованные атакующие ходы, иногда с катастрофическими последствиями.
Несмотря на значительный прогресс ИИ, у существующих моделей сохраняются фундаментальные проблемы с безопасностью и надежностью
Эксперименты с военными играми показали, что ИИ-агенты демонстрировали бóльшую, чем у людей, склонность к эскалации и «галлюцинированию» (реакциям, не соответствующим исходным данным) при принятии решений с учетом предыдущих шагов и изменений в ситуации.
В условиях войны, когда ИИ-модели, данные, на которых они обучаются, и их пользователи становятся объектами атак и манипуляции, ограничения этой технологии превращаются в критические уязвимости. Люди без опыта работы с такими системами могут начать воспринимать их ответы в логике «либо полностью доверять, либо не доверять вовсе». Полное доверие в боевых условиях может вести к чрезмерной уверенности, ошибкам и эскалации, а недоверие фактически парализует командование, так как становится неясно, на какие данные можно опереться.
Особую опасность это представляет для молодых и неопытных военнослужащих, которые сильнее подвержены эффекту Даннинга-Крюгера: они будут реже замечать ошибки ИИ в сложных военных системах. Та же логика относится и к руководству: оно может излишне доверять оценкам моделей, особенно если те обещают легкую победу.
Таким образом, даже при формальном «человеческом контроле» в наиболее рискованных решениях, таких как применение ядерного оружия, молодые операторы и неопытные руководители могут переоценивать достоверность выводов искусственного интеллекта.
ИИ и авторитарные режимы
Насколько различаются оценки возможностей ИИ в зависимости от политического строя? Согласно исследованиям, в авторитарных режимах уровень доверия к армии ниже, из-за чего вооруженные силы в таких государствах менее эффективны. Руководство стремится сосредоточить контроль на верхнем уровне, что снижает гибкость и устойчивость военных структур.
Недоверие к военному руководству может способствовать более активному внедрению искусственного интеллекта в авторитарных режимах. Если лидер сомневается в лояльности подчиненных, он может предпочесть заменить их ИИ-агентами, запрограммированными на поддержку власти.
Такие системы, скорее всего, будут склонны к лести и подкреплению политики руководства. Кроме того, авторитарные режимы могут вкладываться в разработку моделей без этических ограничений, которые сдерживают применение насилия. Можно представить систему «мертвой руки» на базе ИИ, созданную не только для ответа на ядерный удар, но и чтобы обойти возможное нежелание людей выполнять приказ.
Человек — самая большая угроза
Как и с другими технологиями, главная опасность ИИ связана с людьми — с тем, как они используют и развивают эти системы, отражая собственные худшие черты. После Первой мировой войны исследователи пытались понять, как конфликт, не имевший смысла, унес миллионы жизней.
Одно из ранних объяснений связывало произошедшее с развитием технологий: железные дороги, телеграф и паровые двигатели позволили создать масштабные военные возможности и тем самым способствовали развязыванию войны. Но решения принимали люди, а не машины. Лидеры вроде кайзера Вильгельма были уверены, что с помощью технологий смогут добиться победы, но не осознавали ее цену.
Главная опасность ИИ связана с тем, как люди его используют и развивают, отражая собственные худшие черты
Сегодня именно человек решает, как создавать ИИ-арсеналы, как применять их в военных конфликтах и какую роль отдавать им в принятии решений, включая ядерные. Разъяснение руководящим лицам ограничений этой технологии и обучение их критическому анализу выводов моделей позволит снизить риск переоценки возможностей ИИ, а приоритет безопасности на этапе разработки уменьшит вероятность случайных сбоев. Внедрение искусственного интеллекта в военную сферу неизбежно, но устойчивость этого процесса может обеспечить только человеческий контроль.
