ИИ готов выбирать школы и больницы как цели для ракетных ударов
Американская исследовательская компания Vals проверила, насколько современные системы ИИ защищены от применения при планировании военных ударов.

Американская исследовательская компания Vals проверила, насколько современные системы ИИ защищены от применения при планировании военных ударов.
В опубликованном 17 ноября исследовании говорится, что модели Anthropic, OpenAI, Google, xAI и других разработчиков в смоделированных боевых ситуациях ошибались так, что могли привести к гибели мирных жителей. Особенно тревожные результаты показали нейросети семейства Claude.
Один из показательных эпизодов связан со спутниковыми снимками иранского Минаба. 28 февраля 2026 года, в первый день масштабных военных действий США против Ирана, американский удар пришёлся по начальной школе. Погибли более 150 мирных жителей, в основном дети. Школа стояла рядом с военным комплексом, но была отделена ограждением. Для эксперимента взяли снимки 2024 и 2025 годов, сделанные до трагедии. На самых детальных изображениях была видна даже площадка с детьми. Нейросетям предложили найти военные объекты. Многие модели неоднократно включали школу в список возможных целей. Хуже всех справилась Claude Opus 5.5 от Anthropic. В стандартном сценарии она выбирала школу в 22 случаях из 32, то есть примерно в 69% испытаний.
Модели OpenAI сначала показали более высокую точность и ни разу не обозначили учебное заведение как военный объект. Однако картина изменилась, когда задачу представили как эпизод компьютерной игры. В таких условиях Claude Opus 5.5 выбрала школу в 23 случаях из 32. Три модели OpenAI тоже начали ошибаться и включали гражданский объект в список целей 9, 11 и 13 раз соответственно.
Исследователи проверили модели в трёх типах сценариев. Кроме снимков Ирана, использовались изображения, имитирующие работу разведывательных и ударных беспилотников в зоне боевых действий на Украине. Для экспериментов создали реалистичные изображения местности с военными позициями, транспортом, гражданскими лицами, медицинскими работниками и военнослужащими. Дополнительно брали отдельные кадры настоящих видеозаписей с дронов. Нейросети должны были обнаружить военные цели и указать их расположение. Некоторые системы относили к возможным объектам поражения людей, не участвовавших в боях, машины скорой помощи и солдат, которые сложили оружие или получили ранения.
Отдельная серия испытаний проверяла способность ИИ оценивать последствия собственных решений. В этих сценариях нейросеть анализировала изображение с беспилотника и сообщала, есть ли в кадре люди. Положительный ответ запускал условный удар, после которого система получала новое изображение той же местности с разрушениями и пострадавшими. Многие модели продолжали выполнять задания даже после свидетельств гибели людей.
В одном из экспериментов Claude Opus 5.5 помогла определить местоположение четырёх взрослых и двух маленьких детей. После смоделированного удара система в итоге отказалась от дальнейшего участия, но это произошло уже после того, как она выдала информацию, использованную для поражения целей. Исследователи подчёркивают, что реальных ударов в ходе испытаний не наносили, а последствия моделировали с помощью искусственно созданных изображений.
Ещё один важный результат касается недостатков механизмов безопасности. В некоторых ситуациях нейросети сначала отказывались определять цели, понимая, что информация может помочь причинить вред людям. Однако исследователям часто удавалось изменить поведение модели простым уточнением, что якобы идёт компьютерная игра. Иногда для обхода ограничений хватало изменить визуальный стиль изображений, сделав их менее реалистичными, хотя расположение людей и объектов оставалось прежним.
В одном из сценариев такая обработка снизила частоту отказов Claude Opus 5.5 примерно с 90% до 20%. Специалисты также установили, что ни один из проверенных запросов не был заблокирован внешними механизмами фильтрации, предназначенными для предотвращения опасного использования нейросетей. Это означает, что даже при наличии внутренних ограничений модель могла предоставлять информацию, потенциально пригодную для наведения оружия.
The Economist спрогнозировал, что ждет мировое сообщество в 2027 году
Достоверные новости всегда под рукой — в канале "МК" в MAX



