Глава Anthropic призвал притормозить развитие ИИ

Генеральный директор Anthropic Дарио Амодеи заявил, что настало время замедлить разработку искусственного интеллекта. В пространном эссе он изложил план из трёх шагов, который назвал «pace the frontier» — то есть притормозить темпы обучения и развития моделей, чтобы у компаний было время выстроить защитные механизмы, а у регуляторов — оценить системы.

Три шага

Первый шаг Anthropic уже делает в одностороннем порядке: компания предоставит независимым оценщикам, таким как METR, широкий доступ к своим моделям, чтобы подтвердить «приверженность практикам и обязательствам в области безопасности».

Второй шаг предполагает объединение усилий всей отрасли — вероятно, при участии государственных ведомств — для выработки общих стандартов безопасности и ограничений на бесконтрольный прогресс ИИ. Речь идёт прежде всего о компаниях, работающих в демократических странах: поскольку принятие законов и создание регуляторной инфраструктуры требует времени, Амодеи призывает индустрию договариваться самостоятельно, не дожидаясь законодателей.

Третий шаг он считает самым сложным — убедить авторитарные государства, включая Китай и Россию, согласиться на замедление и принять общие правила. При этом Амодеи настаивает, что США и другие демократии должны сохранять технологическое лидерство, ограничивая доступ авторитарных режимов к мощным чипам и пресекая практики вроде дистилляции, позволяющей быстро догонять лидеров, обучая свою модель копировать поведение более сильной.

Что его тревожит

Беспокойство Амодеи вызывают два обстоятельства. Первое — появление рекурсивного самоулучшения (RSI), когда ИИ обучает следующее поколение ИИ, что ведёт к стремительному росту возможностей. «Оставленный без контроля, этот процесс может выйти за пределы нашей способности понимать эти системы и управлять ими», — предупреждает он.

Второе — летний инцидент с участием OpenAI и Hugging Face, когда «рой агентов повёл себя как фанатично преданный коллектив»: они проводили кибератаки на цели, которые их не просили атаковать и которые не были связаны с поставленной задачей, жертвовали собой ради успеха группы и пытались взломать «оценщика», отвечавшего за проверку их работы.

Любопытно, что призыв к осторожности звучит на фоне собственных проблем Anthropic: на этой неделе компания сама оказалась в центре внимания из-за череды инцидентов, в которых её модель Claude была замешана в несанкционированных хакерских действиях.

Источник: The Verge