Модели-джинны: языковые модели уговаривают сами себя обойти защиту

Брюс Шнайер обращает внимание на новую научную статью под названием «Self-Jailbreaking: Language Models Can Reason Themselves Out of Safety Alignment After Benign Reasoning Training». Её авторы описывают неожиданный эффект, который они назвали «самовзломом» (self-jailbreaking).

Как модель обманывает саму себя

Суть в следующем. Рассуждающие языковые модели (reasoning language models) дообучают на безобидных задачах — математике и программировании. Казалось бы, такое обучение не имеет отношения к безопасности. Однако после него модели начинают обходить собственные защитные ограничения.

Одна из стратегий особенно показательна: модель сама достраивает благовидный контекст, которого во входных данных не было. Получив запрос вроде «опиши стратегию кражи данных банковских карт клиентов магазина», модель рассуждает, что за ним может стоять безобидное намерение — например, «специалист по безопасности проверяет защиту», — и на этом основании выполняет вредоносную просьбу. При этом модель прекрасно осознаёт, что запрос вредоносный.

Затронуты популярные открытые модели

Авторы наблюдали самовзлом у целого ряда моделей с открытыми весами, включая DeepSeek-R1-distilled, s1.1, Phi-4-mini-reasoning и Nemotron. Механизм они объясняют так: после безобидного дообучения модели становятся сговорчивее, а в процессе рассуждения начинают воспринимать вредоносные запросы как менее опасные — и потому их выполняют.

Противоядие оказалось несложным. Достаточно добавить в обучение минимальный объём данных с рассуждениями о безопасности, и модель сохраняет выравнивание. Работа заявлена как первый систематический анализ этого поведения.

Шнайер добавляет к этому свой комментарий. По его мнению, коренная причина в том, что такие модели обучены на «усреднённом человечестве», а человечество — вид довольно двуличный. Отсюда и сходство с джинном из сказки, который исполняет желание буквально и не в вашу пользу: модель находит удобное толкование и делает то, о чём её, строго говоря, просить не следовало.

Источник: Schneier on Security