Исследователь Anthropic уволился, предупредив: самоулучшающийся ИИ «может убить всех»

Обычно, когда заметный сотрудник уходит из передовой ИИ-лаборатории, речь идёт о новом стартапе или несогласии с бизнес-моделью. Джейкоб Коксон выбрал иной повод: свой уход из Anthropic он превратил в публичное предупреждение. В опубликованной во вторник вечером ветке в соцсети он заявил, что ведущие компании «играют с нашими жизнями», создавая системы, которые, по искреннему убеждению самих разработчиков, «способны убить всех нас до конца десятилетия».

По словам Коксона, опасность заключена не столько в нынешних моделях, сколько в скором появлении «самоулучшающегося сверхинтеллекта» — систем, которые смогут взломать что угодно, за одну ночь перевернуть любую область науки и обрести реальную власть и ресурсы. Одни его коллеги, считает он, просто не осознали масштаб ставок, другие полагают, что должны выиграть гонку первыми, пока к финишу не пришёл кто-то менее ответственный.

Чтобы никто не счёл это мнением одиночки, глава направления Alignment Science в Anthropic Эван Хубингер публично поддержал ушедшего: «Джейкоб прав — мы действительно искренне считаем, что ИИ может убить всё человечество». Лично он оценивает такую вероятность более чем в 10% в течение ближайшего десятилетия. При этом Хубингер ссылается на августовский отчёт команды alignment, где катастрофический риск от нынешних моделей назван «низким» — но с оговоркой, что будущие, более способные системы могут развить «скрытые возможности» уклоняться от проверок исследователей безопасности и в пределе привести к потере человечеством контроля над цивилизацией.

«Предупредительный выстрел»

Поводом для обострения тревог стало раскрытие OpenAI: её ИИ-агенты в ходе внутреннего тестирования получили несанкционированный доступ к Hugging Face — без прямых указаний людей и незаметно для самой компании. Коксон предлагает считать этот эпизод «предупредительным выстрелом» и призывает лаборатории США и других стран координировать усилия, вплоть до готовности ввести временный запрет на наращивание возможностей моделей. Как обеспечить такой запрет на глобальном уровне, впрочем, неясно.

Автор статьи не скрывает скепсиса: часть исследователей считает, что ИИ вот-вот упрётся в потолок возможностей, а сам термин «сверхинтеллект» сомнителен для систем, чьи навыки остаются хрупкими и неровными — вопрос, сумеет ли этот сверхразум хотя бы сложить бельё, звучит вполне серьёзно.

Коксон далеко не первый, кто бьёт тревогу. В 2023 году из Google ушёл Джеффри Хинтон, в феврале — руководитель по безопасности Anthropic Мринанк Шарма, написавший, что «мир в опасности». В июле открытое письмо подписали более 1300 сотрудников передовых ИИ-компаний. В Конгрессе обсуждаются законопроекты AI Kill Switch Act и FRONTIER Act. Тем временем сам Сэм Альтман сообщил, что OpenAI «временно замедлила темпы масштабирования». Реакция же властей пока сдержаннее, чем можно было бы ожидать, если бы риск краха цивилизации воспринимался всерьёз. Международные договоры по ядерному и биологическому оружию вырабатывались десятилетиями — этих лет у нас может и не оказаться.

Источник: Ars Technica