Anthropic: мы никогда не призывали запрещать open-weights модели

На фоне слухов о том, что власти США якобы рассматривают запрет на использование американскими компаниями китайских моделей с открытыми весами (open-weights), Anthropic оказалась среди тех, кого обвинили в лоббировании таких ограничений ради устранения конкурентов. Глава компании Дарио Амодеи выпустил заявление, чтобы, по его словам, не оставить места для сомнений: Anthropic никогда не выступала за запрет открытых моделей.

Амодеи подчёркивает, что открытые модели без опасных возможностей — это общественное благо: они ничего не стоят, кроме вычислительных ресурсов, и приносят пользу бизнесу, разработчикам и исследователям. Протекционистские запреты, по его мнению, не решают ни одной из реальных проблем национальной безопасности.

Два кошмарных сценария

Главную угрозу автор видит в том, что авторитарные государства — прежде всего Китай, хотя и не только он — создадут модели мощнее американских и используют их для военного превосходства или тотальной слежки за собственным населением. Здесь неважно, открытые это модели или нет: самая опасная система может быть обучена в тайне и передана исключительно военным и спецслужбам.

Вторая, вторичная угроза — злоупотребление мощными моделями для кибератак или биологических атак, а также проблемы согласованности (alignment). Открытые модели здесь действительно рискованнее закрытых: к ним трудно применить ограничители, невозможно отследить использование, а выпущенные веса нельзя отозвать. Но запрет для американского бизнеса и тут бесполезен — злоумышленники вряд ли действуют через легальные компании США.

Что Amodei предлагает вместо запрета

Амодеи называет три меры, которые Anthropic отстаивает последовательно:

• Не продавать Китаю мощные чипы и оборудование для их производства, а также бороться с контрабандой и обходными схемами. Без американских чипов, в силу законов масштабирования, Китай не сможет строить более сильные модели.
• Пресекать промышленную дистилляцию — способ обучать модели гораздо экономичнее и частично обходить чиповые ограничения. Это не даёт Китаю превзойти США, но сокращает отставание до нескольких месяцев.
• Ввести обязательное тестирование безопасности для всех достаточно мощных моделей — открытых и закрытых, независимо от страны происхождения, — освобождая от него слабые модели стартапов и академии.

Спор с открытым письмом

Отвечая на подписанное многими компаниями письмо в защиту открытых весов, Амодеи соглашается, что они расширяют доступ к ИИ-экономике и усиливают конкуренцию. Но он оспаривает тезис, будто открытость сама по себе облегчает защиту сильнее, чем нападение. В биологии, опасается он, преимущество может быть у атакующего: достаточно мощная модель способна быстро «вооружить» вирус пандемического уровня из общедоступных материалов, тогда как оборона — это многолетняя операционная задача. Такие вопросы, настаивает автор, должны решаться эмпирическим тестированием перед выпуском, а не приниматься на веру заранее.

Источник: Hacker News