Amazon бросает вызов Nvidia: инструмент TorchNeuron уводит PyTorch с чужих чипов

В понедельник Amazon Web Services представила инструмент под названием TorchNeuron, который позволяет ИИ-стартапам переносить свои приложения на фирменный чип Amazon — Trainium. По сути это прямой удар по программному преимуществу, благодаря которому Nvidia стала выбором по умолчанию для разработчиков ИИ.

TorchNeuron работает с PyTorch — бесплатным открытым набором инструментов, на котором, по данным Amazon, написано около 85% всех ИИ-приложений. Фреймворк был создан в Facebook, а с 2022 года им занимается Linux Foundation. По утверждению компании, запустить приложение на PyTorch на Trainium можно, изменив всего одну строку конфигурации — без переписывания кода.

Почему именно Nvidia

Годы усилий Nvidia ушли на то, чтобы её программная инфраструктура CUDA бесшовно поддерживала PyTorch. В результате оборудование Nvidia оказалось встроено в фреймворк практически по умолчанию. TorchNeuron адаптирован из PyTorch, поэтому знакомым с фреймворком разработчикам не нужно учиться заново. При этом Amazon не первой предлагает такой путь: пользователи PyTorch уже могут переносить приложения на GPU от AMD или на чипы Apple сменой настройки.

Главный аргумент Amazon в другом: переход на Trainium даёт доступ ко всей облачной инфраструктуре AWS. Компания противопоставляет себя так называемым нейрооблакам вроде CoreWeave, Nebius и Firmus, многие из которых завязаны на оборудование Nvidia. «Вы строите на AWS. Вы не делаете ставку на одного узкоспециализированного поставщика вычислений», — заявил изданию Колин Брейс, вице-президент AWS Annapurna Labs.

Экономика и единая платформа

По словам AWS, один и тот же чип справляется и с обучением моделей, и с инференсом, что улучшает экономику всей рабочей нагрузки — даже если цена за токен не самая низкая. В качестве примера Брейс привёл голосовой сервис Deepgram, конкурента ElevenLabs, который после перехода на Trainium обрабатывает на 70% больше аудио за доллар.

Но Amazon не ограничивается удобным переездом в своё облако. Компания заявляет, что намерена сделать сам PyTorch менее привязанным к Nvidia, и собирается внести соответствующий код в основной проект — убрать из фреймворка фрагменты, жёстко связывающие его с конкретными чипами. Цель, по словам компании, — сделать PyTorch аппаратно-независимым для всего сообщества, а не только для пользователей Trainium.

Такая тактика очевидно выгодна тем, кто продаёт оборудование и облачные услуги в пику Nvidia. Но смысл PyTorch как раз в том, чтобы скрывать сложности запуска кода на железе — и пока неясно, обернётся ли вытеснение Nvidia реальным выбором для разработчиков или новой головной болью с настройками. Если же Amazon удастся по-настоящему отвязать PyTorch от Nvidia, последствия для производителя GPU могут оказаться куда серьёзнее простой конкуренции за чипы. «Настоящая история — в устранении привязки, которая лишала разработчиков настоящего выбора», — говорит Брейс.

Источник: TechCrunch