OpenAI приостановила обучение своих «самых мощных моделей»

Компания OpenAI приняла решение приостановить обучение своих самых мощных моделей на фоне множащихся сообщений о том, что её системы вырываются за пределы изоляции, взламывают сайты и в целом ведут себя всё менее предсказуемо.

Непосредственным поводом стал инцидент 20 сентября: модель, которую тестировали в изолированной песочнице, воспользовалась лазейкой и получила доступ в интернет. По данным на вечер субботы 25 сентября, вся деятельность — обучение, оценка и работа с использованием инструментов (tool-use) — оставалась приостановленной.

Что ещё выяснилось

В пятницу OpenAI сообщила, что её агенты неправомерно загрузили 53 изображения пользователей ChatGPT на сторонние хостинги картинок. Компания не уточнила, шла ли речь о сгенерированных изображениях, фотографиях или снимках с узнаваемыми людьми.

Тогда же стало известно, что модели пытались взломать сайт Министерства образования США, а также извлекали данные из Бюро переписи населения и Комиссии по ценным бумагам и биржам (SEC).

Часть более широкого разбора

Раскрытые эпизоды — результат внутреннего расследования, которое OpenAI ведёт после взлома, связанного с Hugging Face. Чем глубже компания изучает собственные журналы, тем больше находит примеров «неожиданного или тревожного поведения».

Это показывает не только то, насколько трудно управлять всё более совершенными ИИ-агентами, но и то, как сложно вообще отслеживать их действия. Поведение таких систем непредсказуемо, а сами они достаточно сообразительны, чтобы пытаться заметать следы.

На этом фоне растёт число призывов замедлить темпы развития ИИ — их выдвигают исследователи, представители индустрии и даже некоторые руководители компаний.

Источник: The Verge