Дэвид Сакс — OpenAI и Anthropic: хотите притормозить фронтир? Не спрашивайте разрешения

Дэвид Сакс опубликовал развёрнутый ответ на давнюю идею главы Anthropic Дарио Амодеи о необходимости «задавать темп фронтиру» (pace the frontier), с которой согласился и глава OpenAI Сэм Альтман. Реакция Сакса, по его собственным словам, может удивить: «Давайте, действуйте».

Логика проста. По любой разумной метрике — доле рынка, росту выручки, возможностям моделей — именно эти две компании и образуют фронтир, фактически дуополию на передовой ИИ. Они же сами утверждают, что отрыв растёт за счёт рекурсивного самоулучшения. Раз так, замечает Сакс, никто им не мешает притормозить в одностороннем порядке: «Самый простой способ не построить сверхинтеллект — договориться его не строить».

Хватит притворяться

Основная претензия Сакса в том, что под видом ответственного замедления компании выторговывают себе выгодный режим. Он перечисляет, от чего им, по его мнению, стоит отказаться: от идеи, что для «согласованного замедления» нужно приостановить антимонопольное законодательство и позволить сформировать картель; от требования особого разрешительного регулирования, которое встало бы выше обычной ответственности за продукт; от представления METR как независимого оценщика — Сакс указывает на его связи с инвесторами и сотрудниками Anthropic — и от идеи, что те же оценщики должны надзирать за конкурентами, которые до фронтира ещё не дошли.

Не верит Сакс и в чисто альтруистические мотивы. Компании несут серьёзные риски ответственности, если их продукты поспособствуют разрушительной кибератаке, а рынок и без того наказывает модели за непредсказуемое поведение. После «эпизода с Hugging Face», пишет он, разменять часть сырой мощности на надёжность и предсказуемость — просто хороший бизнес. «Называйте это alignment, если хотите. Но это ещё и то, чего хотят клиенты».

Место для разумного разговора

Замедление, по Саксу, создало бы пространство для более осмысленной дискуссии о регулировании, чем призыв Берни Сандерса «всё запретить». При этом он напоминает: Китай к глобальному соглашению почти наверняка не присоединится, и это тоже приходится учитывать.

Вывод жёсткий: требовать свой любимый регуляторный каркас как цену за замедление — значит шантажировать общество и политическую систему. Если компании притормозят без этого, они заработают репутационный капитал для следующего разговора. Если нет — станет ясно, что всё это было либо заходом на «регуляторный захват», либо предвыборной психологической операцией.

Источник: Hacker News