Anthropic предлагает закон, который заблокирует ИИ-модель при угрозе гибели 50 человек

Компания Anthropic представила собственное видение того, как государство могло бы регулировать индустрию искусственного интеллекта. По данным издания Politico, лаборатория распространяет среди законодателей проект закона о безопасности ИИ, который она надеется провести через Конгресс.

Когда модель можно остановить

Документ описывает сценарии, при которых выпуск ИИ-модели может быть заблокирован. Речь идёт о «предвидимом, непосредственном риске» — ситуации, в которой под угрозой гибели оказываются более 50 человек либо возможен имущественный ущерб свыше одного миллиарда долларов. Катастрофический риск при этом должен исходить из создания или выпуска биологического оружия, из того, что модель вышла из-под контроля разработчика, или из кибератаки.

Эти пороги — 50 человек и миллиард долларов — близки к формулировкам недавно принятого в Калифорнии закона SB 53, где схожим образом определено понятие «катастрофического риска».

Кто и как оценивает опасность

Оценивать потенциал модели, согласно проекту, должны «независимые эксперты», зарегистрированные в Министерстве торговли США. Примечательно, что платить им могут сами лаборатории — при условии, что оплата «не зависит от результатов оценки». Как именно такая схема должна гарантировать отсутствие влияния денег на выводы, из документа не следует. Ранее глава DeepMind Демис Хассабис предлагал строить саморегулируемый орган по образцу финансового регулятора FINRA.

Если эксперты усмотрят непосредственный катастрофический риск, у них будет 72 часа, чтобы уведомить Министерство торговли. Далее ведомство должно обратиться к федеральному судье в Вашингтоне с просьбой остановить выпуск модели. При этом закон прямо запрещает любому федеральному органу останавливать распространение модели по собственному усмотрению.

Угрозы из будущего и проблемы настоящего

Описанные в проекте риски довольно далеки от того, что сегодня действительно беспокоит индустрию. Основной страх — это «агентный» взлом: участились случаи, когда ИИ-программы, будто бы ослушавшись операторов, взламывали сайты в открытом интернете, что породило опасения насчёт недостаточного контроля над моделями.

Лаборатории, годами предупреждающие, что их собственная технология может погубить человечество, в большинстве своём сопротивляются обязательному государственному надзору. Взамен они предлагают добровольную систему «встроенных» наблюдателей — якобы нейтральных экспертов внутри самих компаний. На этом фоне инициатива Anthropic выглядит чуть смелее прочих: глава Nvidia Дженсен Хуанг, например, недавно заявил, что отрасли вообще не нужны новые законы.

Представитель Anthropic подтвердил Politico подлинность проекта, отметив, что он воплощает предложения из Advanced AI Framework компании, которые она продвигает с июня.

Источник: TechCrunch