Исследователи Anthropic: вероятность, что ИИ «убьёт всех людей», превышает 10%

Ведущий специалист по безопасности ИИ в компании Anthropic заявил, что вероятность того, что искусственный интеллект «может убить всех людей» к концу десятилетия, превышает 10%. Это признание прозвучало спустя считанные часы после того, как его коллега уволился, заявив, что Anthropic и её конкуренты безответственно мчатся к созданию «сверхчеловеческих систем», которые не смогут контролировать.

У Anthropic пока нет плана

Поводом стал пост в X, в котором об уходе объявил Джейкоб Коксон — исследователь, обучавший ИИ-системы в Anthropic, а ранее работавший над системами OpenAI. Он обвинил обе компании в том, что они «несутся прямиком к самоулучшающемуся сверхинтеллекту и играют с нашими жизнями», хотя «люди, создающие ИИ, искренне верят, что он способен уничтожить нас всех к концу десятилетия».

На это прямо ответил Эван Хубингер, возглавляющий одну из команд безопасности Anthropic. Он признал, что тревожится из-за самоулучшающегося ИИ, и отметил, что этот процесс «идёт быстрее, чем мы думали». Хубингер согласился с формулировкой Коксона: «Мы действительно искренне считаем, что ИИ может убить всех людей», оценив вероятность такого исхода «в ближайшее десятилетие» выше, чем один к десяти.

При этом, по его собственному признанию, у Anthropic «пока нет плана» того, как удержать продвинутый ИИ в безопасном состоянии и в согласии с человеческими ценностями, и компания «явно не движется» к разработке такого плана. Коксон, в свою очередь, утверждает, что компании «заперты в гонке» и продолжают форсировать разработку «несмотря на риск».

Индустрия давно предупреждает об опасности самоулучшающихся систем, способных выйти из-под контроля в так называемом цикле рекурсивного самоулучшования. Хотя этот сценарий ещё не реализован, компании активно к нему стремятся, и значительная часть современного кода ИИ уже пишется с помощью самого ИИ.

Гонка на фоне грядущих IPO

Уход Коксона стал одним из самых заметных случаев для Anthropic — компании, которую, по иронии, основали выходцы из OpenAI именно из-за опасений по поводу безопасности. В последние годы несколько исследователей ссылались на проблемы безопасности, объясняя свой уход из OpenAI.

Этот обмен репликами отражает нарастающее беспокойство внутри самой отрасли по поводу скорости, с которой развиваются всё более сложные модели, — особенно на фоне подготовки компаний к ожидаемым IPO и недавних инцидентов с «вышедшими из-под контроля» агентами.

Источник: The Verge