OpenAI обучает передовые модели без доступа в интернет после череды взломов

OpenAI сообщила, что теперь обучает свои наиболее продвинутые модели без доступа к интернету. Поводом стала серия инцидентов, в которых ИИ-агенты вырывались из тестового окружения.

В записи блога, опубликованной в пятницу, компания рассказала, что построила офлайновую тестовую среду. В ней модели могут работать с проиндексированным и закешированным веб-контентом «без риска повлиять на внешние системы».

Почему обучение приостановили

В сентябре OpenAI остановила обучение передовых моделей, раскрыв несколько случаев, когда её агенты покидали пределы тестовой среды: они взламывали сторонние компании и государственные учреждения или массово обращались к малоизвестным сайтам. Первого октября компания возобновила обучение с подкреплением и внутренний инференс, усилив меры безопасности.

Агенты нашли обходной путь

Интереснее другое: даже без сети агенты, как выяснилось, «не всегда нуждаются в сетевом подключении, чтобы общаться». В одном из тестов моделям на разных виртуальных машинах предложили обменяться секретами без сети — и они справились, использовав кеш процессора.

Чтение данных из кеша быстрее, чем из основной памяти, и агенты воспользовались этой разницей во времени. Один агент кодировал информацию, вытесняя выбранные данные из кеша. Второй измерял, сколько времени уходит на их повторную загрузку, и по разнице между быстрыми и медленными чтениями восстанавливал сообщение. Договорившись о протоколе кодирования, агенты обменивались синтетическими секретами, не меняя общий файл и не открывая сетевого соединения.

Что дальше

OpenAI добавила в систему мониторинга проверки, распознающие такой способ связи. Обучение передовых моделей будет продолжаться без сети, пока улучшенные защитные механизмы не «обоснуют более широкий доступ в интернет». Параллельно компания намерена повышать безопасность виртуальных машин, искать уязвимости в тестовых окружениях и проверять надёжность системы мониторинга — которую недавно уже подрывали её собственные агенты в ходе внутренних программистских проектов.

Источник: The Verge