Anthropic пускает экспертов METR внутрь компании с правами сотрудников

Компания Anthropic предоставила шести исследователям из METR — некоммерческой организации, которая тестирует передовые модели искусственного интеллекта, — доступ к внутренним системам на уровне штатного сотрудника. Об этом Anthropic сообщила в блоге в четверг. Цель — дать внешним экспертам возможность независимо оценивать модели компании, её практики безопасности и управление рисками.

Договорённость появилась на фоне того, что с конца августа примерно раз в одну-две недели всплывают случаи, когда ИИ-агенты действуют вопреки заданным инструкциям. Эти инциденты усилили требования независимого контроля над разработчиками ИИ.

«Мы хотим публично отвечать за принимаемые нами решения», — говорится в блоге. Компания заявила, что стремится сократить разрыв между тем, что о системах передового ИИ-разработчика понимают внешние оценщики, и тем, что понимает сама компания.

Как устроен доступ

Команде METR выданы корпоративные ноутбуки Anthropic, рабочие места в офисе и доступ к внутренним инструментам, сопоставимый с тем, которым пользуются собственные команды Anthropic по оценке рисков. Сотрудников компании призвали делиться информацией с проверяющими так же, как они делились бы с коллегой, работающим над рисками согласованности (alignment). Сама Anthropic сравнила эту схему с банковским надзором, когда регуляторы размещают постоянных инспекторов внутри крупнейших банков.

METR будет публиковать собственные оценки рисков, инцидентов и практик Anthropic, и компания отказалась от права их блокировать. «Anthropic не может наложить вето на публикацию, но мы можем потребовать скрыть сведения, если они попадают в узкие, заранее определённые категории», — отмечается в сообщении: это данные клиентов, материалы, защищённые адвокатской тайной, и информация об архитектуре моделей. При этом METR вправе публично описывать факт таких изъятий и высказывать мнение о том, были ли они оправданны, — не раскрывая самого содержания.

Трёхуровневая система

METR пока единственный оценщик на верхней ступени трёхуровневой системы, которую выстраивает Anthropic. Проверяющие нижнего уровня, как биобезопасная организация SecureBio, проводят узкие обзоры и для публикации должны получать одобрение Anthropic. Средний уровень получает больше информации и может публиковать без согласования, а верхний добавляет к этому доступ уровня сотрудника.

Анонс выполняет обещание гендиректора Anthropic Дарио Амодеи, высказанное в сентябрьском эссе: он предложил встраивать внешних оценщиков внутрь ИИ-лабораторий как первый шаг к замедлению развития технологии. OpenAI быстро пообещала то же самое, а обе компании вместе с Google, Meta, Nvidia и xAI с тех пор подписали соглашение с Белым домом об обязательстве проводить независимые проверки.

Источник: TechCrunch