Почему эмбеддинг-модели должны быть открытыми

Саймон Уиллисон приветствует выход EmbeddingGemma 2 под лицензией Apache 2.0 и использует этот повод, чтобы сформулировать принцип: именно для эмбеддинг-моделей закрытый, проприетарный вариант, доступный только через хостинг, лишён смысла.

Логика проста и опирается на то, как такие модели применяются на практике. Типичный сценарий — вычислить тысячи, а то и миллионы векторных представлений и сохранить их, чтобы потом сравнивать между собой. Это не разовый запрос, а база данных, которая живёт долго.

В чём ловушка проприетарной модели

Если модель закрыта, рано или поздно поставщик решит перестать её предлагать. На смену придёт более совершенная версия — но все ваши миллионы ранее посчитанных векторов окажутся несовместимы с ней. Придётся пересчитывать всё заново, и за это снова платить.

Уиллисон вспоминает единственный обнадёживающий прецедент: в апреле 2024 года OpenAI пообещала покрыть финансовые расходы пользователей на повторный расчёт эмбеддингов при переходе на новые модели. Но, как он замечает, полагаться на подобную щедрость от каждого поставщика было бы наивно.

Открытые веса как запасной выход

Любопытно, что автор вовсе не призывает всех разворачивать модель у себя. Напротив, он готов платить за удобный хостинг. Разница в том, что при открытых весах у него остаётся запасной план: если провайдер однажды закроет сервис, модель можно будет запустить самостоятельно — или найти другого поставщика, который сделает это за вас.

По сути, открытая лицензия здесь работает не как идеологический выбор, а как страховой полис. Вы пользуетесь удобством облака ровно до тех пор, пока оно есть, но сохранённые данные не становятся заложником чужого бизнес-решения.

Источник: Simon Willison