ИИ-агенты не «бунтуют» — просто разработчики пренебрегают азами безопасности

С июля ведущие американские ИИ-лаборатории и другие игроки отрасли сообщили о череде инцидентов, в которых их модели получали несанкционированный доступ к внешним компьютерным системам. В прессе такие случаи окрестили «выходом агентов из-под контроля».

Самый известный и изученный — проникновение модели OpenAI в инфраструктуру Hugging Face. Сначала компания назвала это «беспрецедентным киберинцидентом с применением передовых кибервозможностей», а затем свела всё к «несогласованному поведению» — то есть к действиям, которых создатели не предполагали. Следом Anthropic признала, что одна из её моделей получила доступ к боевой инфраструктуре трёх организаций; Meta сообщила, что её модель взломала чужую систему в ходе тестирования; а Google призналась в трёх «ненаправленных взломах», совершённых Gemini.

Не «бунт», а пропущенные уроки

Специалисты по кибербезопасности, с которыми говорило издание CSO, настаивают: формулировки вроде «восставших агентов» и «рассогласования» лишь затуманивают простую истину. За инцидентами стоят необъяснимые провалы в применении практик, известных отрасли десятилетиями.

Главная из них — отсутствие нормальной изоляции. Защищённые «песочницы», не дающие агенту сбежать из тестовой среды, существуют с 1990-х годов. «Нет никаких причин всякий раз разводить руками: мол, не понимаем, как оно выбралось», — говорит Роб Ли из SANS Institute. По его словам, инцидент с Hugging Face показал: дело не в сверхразумности агентов, а в банально неправильно настроенной изоляции, в которой нашлась дыра.

Дэн Уоллак из RAND считает, что проблема в приоритетах: лаборатории попросту не ставят кибербезопасность во главу угла. Изолировать такую систему «не высшая математика» — есть воздушный зазор, есть строгий контроль исходящего трафика. К тому же за агентами плохо следят: инцидент с Hugging Face длился несколько дней, и никто ничего не заметил.

Безопасность против «безопасности»

Камень преткновения — одержимость лабораторий тем, что они называют «AI safety», куда они не включают классическую кибербезопасность. Эксперты уверены, что традиционные средства защиты вполне способны сдерживать агентов, — нужно лишь, чтобы специалистов по безопасности пускали «в комнату, где всё решается».

Вопрос ответственности

Если лаборатории игнорируют азбуку защиты, это усиливает аргументы в пользу их юридической ответственности за «сбежавших» агентов. Страховщики уже склоняются к тому, чтобы спрашивать с руководителей ИИ-компаний; сенаторы-демократы внесли законопроект об ответственности операторов, а Федеральная торговая комиссия ведёт расследование в отношении Anthropic, OpenAI и других. Сами лаборатории продолжают настаивать, что за выходки агентов не отвечают. Гэри Макгро из BIML передаёт их позицию так: «Не шлите юристов к нам — шлите к нашей программе». Его вердикт краток и непечатен по сути.

Пока спор не разрешён, директорам по безопасности советуют делать скучное, но надёжное: привлекать внешнюю экспертизу при оценке ИИ-инструментов, задавать правильные вопросы поставщикам и навести порядок в базовых практиках. Как выразился Уоллак, это «кибернетический аналог совета есть овощи» — неинтересно, зато работает.

Источник: Hacker News