Сотрудник OpenAI по безопасности уволился и бьёт тревогу

Дэвид Робинсон отвечал в OpenAI за отчёты о безопасности, которые сопровождали каждый крупный релиз модели. На этой неделе он подал в отставку и теперь высказывается публично — в колонке для журнала The Atlantic.

Можно отнестись к этому с долей скепсиса: люди, причастные к созданию технологии, один за другим выходят из тени, чтобы предупредить, насколько она опасна. В конце концов, именно они и устроили весь этот беспорядок. Но это не повод отмахиваться от их предостережений.

«Сломанная» культура

Робинсон утверждает, что проблема в самой культуре отрасли и она глубже, чем пара новых правил или норм для обучения моделей. Кремниевая долина, по его словам, действует с «предельной самоуверенностью» и в режиме «вечного спринта», создавая всё более крупные и мощные модели с «неудержимым оптимизмом», который игнорирует или недооценивает возможные проблемы.

По его мнению, настало время компаниям, занимающимся ИИ, обрести чувство смирения и посмотреть за пределы замкнутого мира технологий, живущего по принципу «действуй быстро и ломай вещи». Робинсон призывает к защитным мерам атомного уровня: передовые лаборатории, считает он, должны работать как атомные электростанции или загруженные аэропорты — с многократным резервированием и тщательным, небыстрым планированием, чтобы неизбежная человеческая ошибка не открыла дверь катастрофе.

Растущий исход

Робинсон — лишь последний в череде исследователей и специалистов по безопасности, покинувших видные компании в сфере ИИ. Своего рода старт этому исходу, судя по всему, дал Джейкоб Коксон, который ушёл из Anthropic и публично заявил, что ИИ «может убить нас всех до конца десятилетия». За ним последовали Роберт О'Каллахан, Билал Чугтай и Джош Энгелс из Google DeepMind, а также Джо Бентон из Anthropic.

Источник: The Verge