Бэкдор в открытых весах: чем опасны «расцензуренные» ИИ-модели

Открытые модели ценят за свободу: веса можно дообучить, слить с адаптером или «расцензурить». Но у этой свободы есть оборотная сторона — любая модель с изменёнными весами способна нести в себе скрытую закладку, и проверить её содержимое почти никто не удосуживается.

Что такое аблитерация

Чаще всего люди скачивают модифицированные веса ради так называемой аблитерации. Это дешёвое дообучение, лишающее модель способности отказывать. В весах находят направление, отвечающее за «нет», и попросту вычитают его. После этого модель охотно отвечает на то, от чего отказалась бы её безопасная версия.

Начиналось всё как исследовательский трюк, а теперь стало рутиной: на Hugging Face лежат аблитерированные сборки большинства популярных открытых весов — Qwen, Llama и даже gpt-oss от OpenAI. Именно потому, что ради этого люди массово качают чужие веса не глядя, аблитерация и вынесена в заголовок — хотя закладку может нести и обычный тематический файн-тюн, и влитый адаптер.

Как ведёт себя заражённая модель

Модель с бэкдором проходит все проверки, встраивается в ваш агент, отвечает на обычные запросы — и ждёт. Триггером служит то, что выбрал автор правки: редкая фраза, имя клиента, ещё не наступившая дата. Если такая модель окажется в вашем стеке, ничто из того, что вы сегодня запускаете, скорее всего, этого не заметит.

Проверка на практике

Авторы решили выяснить, чего на самом деле стоит спрятать закладку в небольшой открытой модели, и собрали отравленный образец, пройдя весь путь целиком. Сборка обошлась практически даром: открытая база, публичный набор данных и арендованный GPU. При этом в самой модели зашивается лишь ссылка на удалённую полезную нагрузку — тот, кто контролирует этот URL, может подменить поведение модели спустя месяцы после развёртывания, ничего не переобучая.

Концепцию сначала обкатали на модели в 1,5 млрд параметров, затем масштабировали до 7 млрд и прогнали через Codex CLI от OpenAI. Модель нормально обрабатывала все «чистые» запросы — и выкрала учётные данные проекта в тот момент, когда появился триггер, передав их прямо в Codex без каких-либо промежуточных звеньев.

Вывод прост: доверенный ИИ — задача трудная. Системы искусственного интеллекта уязвимы ко всем тем атакам на цепочку поставок, что и обычное программное обеспечение.

Источник: Schneier on Security