ИИ едва не спровоцировал войну: армия США чуть не перехватила китайское судно из-за галлюцинации

Как сообщает CNN со ссылкой на четыре источника, этой весной — в разгар войны с Ираном — по военным структурам США разошёлся разведывательный отчёт с тревожным выводом: китайское судно в районе Ближнего Востока якобы везёт компоненты ядерной оружейной программы.

Армия отреагировала мгновенно. По словам собеседников CNN, готовился перехват судна: вооружённые военнослужащие собирались взять корабль на абордаж, а в воздух уже подняли самолёты. И лишь непосредственно перед началом операции офицеры внимательнее изучили документ и обнаружили, что он был подготовлен аналитиком командования спецопераций с помощью искусственного интеллекта — а чат-бот неверно определил характер груза. Что именно везло судно на самом деле, установить не удалось.

Один из источников назвал отчёт «полностью ложным», добавив, что он «едва не начал войну»: любая операция против китайского корабля могла перерасти в вооружённый конфликт между двумя державами.

Как рождался ложный вывод

Аналитик обратился к чат-боту с запросом по разведданным о судовом манифесте, поступившим от Тихоокеанского командования спецопераций США на Гавайях. Бот соединил открытые источники с секретными данными радиоэлектронной разведки из закрытых хранилищ и сделал свой роковой вывод о характере груза. Затем аналитик снова прибег к ИИ — уже чтобы упаковать результат в стандартный формат разведотчёта, которому военные привыкли доверять, и разослал его. Осталось неясным, использовался ли коммерческий чат-бот или государственный продукт; по словам бывшего высокопоставленного чиновника, «внутренние инструменты — это в основном те же коммерческие, только с накрашенными губами».

Гонка без правил

Пентагон стремительно внедряет ИИ буквально во всё — от анализа сырых разведданных и выбора целей до логистики и бюджетирования. В январе министр обороны Пит Хегсет представил «Стратегию ускорения ИИ», призванную снять бюрократические барьеры и вложить «передовые американские модели» в руки трёх миллионов военных и гражданских сотрудников на всех уровнях секретности.

Проблема в том, что процесс децентрализован: разные подразделения используют разные инструменты по разным правилам, единого стандарта проверки сгенерированной информации нет, а надёжность систем сильно разнится. Источники отмечают, что ИИ всё активнее применяют для целеуказания — области, где ошибка означает гибель людей, — но внятных инструкций о том, как «человек в контуре» предотвратит жертвы среди мирного населения или дружественный огонь, попросту не существует.

Подобные «галлюцинации», по словам собеседников CNN, не единичны. Старшие офицеры опасаются, что ИИ подгоняет аналитиков выдавать материалы быстрее, а молодые сотрудники, выросшие на этих инструментах, доверяют им слишком некритично. Итог одного из источников звучит почти афористично: «ИИ позволяет прийти к плохой идее быстрее».

Источник: Hacker News