Когда DeepSeek-R1 впервые появился, в индустрии возникли опасения, что продвинутые системы рассуждений могут быть созданы с меньшими затратами на инфраструктуру. Однако, как выяснилось, это не совсем так. По данным Together AI, появление DeepSeek и открытых моделей для рассуждений привело к обратному эффекту: вместо снижения потребности в инфраструктуре, спрос на нее только увеличился.
Этот рост спроса способствовал развитию платформы и бизнеса Together AI. Недавно компания объявила о привлечении $305 миллионов в рамках финансирования серии B, которое возглавил General Catalyst при участии Prosperity7. Together AI, основанная в 2023 году, изначально ставила своей целью упрощение использования открытых языковых моделей (LLM) в бизнесе. В 2024 году компания запустила платформу Together Enterprise, позволяющую развертывать ИИ в виртуальных частных облаках (VPC) и локальных средах. В 2025 году платформа расширилась за счет добавления кластеров для рассуждений и возможностей агентного ИИ.
По словам компании, их платформа для развертывания ИИ насчитывает более 450 000 зарегистрированных разработчиков, а бизнес вырос в 6 раз за год. Среди клиентов Together AI — крупные предприятия и стартапы, такие как Krea AI, Captions и Pika Labs.
«Мы работаем с моделями всех типов: для обработки текста, изображений, аудио и видео», — отметил Випул Пракаш, CEO Together AI, в интервью VentureBeat.
Оглавление
Рост спроса на инфраструктуру из-за DeepSeek-R1
DeepSeek-R1 стал революционным по нескольким причинам, одна из которых — предположение, что передовая модель для рассуждений может быть создана и запущена с меньшими затратами на инфраструктуру по сравнению с проприетарными решениями.
Однако, как пояснил Пракаш, Together AI пришлось расширить свою инфраструктуру, чтобы справиться с растущим спросом на обработку задач, связанных с DeepSeek-R1.
«Эта модель требует значительных ресурсов для выполнения задач, — сказал он. — Она содержит 671 миллиард параметров и требует распределения на нескольких серверах. Более высокое качество модели приводит к увеличению спроса, что, в свою очередь, требует больше ресурсов».
Кроме того, запросы к DeepSeek-R1 часто занимают больше времени — от двух до трех минут. Это также увеличивает потребность в дополнительной инфраструктуре.
Чтобы удовлетворить этот спрос, Together AI запустила сервис под названием «кластеры для рассуждений», который предоставляет выделенные мощности — от 128 до 2000 чипов — для оптимальной работы моделей.
Применение моделей для рассуждений в Together AI
Проверь свои знания в наших бесплатных тестах по ИИ! Пройди тест и узнай, насколько хорошо ты разбираешься в технологиях искусственного интеллекта!
Модели для рассуждений находят применение в различных сферах:
- Модели помогают разбивать сложные задачи на этапы.
- Процесс рассуждений позволяет проверять результаты работы моделей, что особенно важно для задач, где критична точность.
- Клиенты используют модели для повышения качества других ИИ-решений.
- Применение обучения с подкреплением позволяет моделям самостоятельно улучшаться без необходимости в большом объеме данных, размеченных человеком.
Рост спроса на инфраструктуру из-за агентного ИИ
Агентный ИИ также способствует увеличению спроса на инфраструктуру. Пракаш объяснил, что агентные рабочие процессы, где один запрос пользователя приводит к тысячам вызовов API, создают дополнительную нагрузку на ресурсы Together AI.
Для поддержки таких задач компания приобрела CodeSandbox, чья технология предоставляет легковесные виртуальные машины (VM) для быстрого выполнения кода в облаке Together AI. Это позволяет сократить задержки между вызовами агентного кода и моделей, улучшая производительность.
Влияние Nvidia Blackwell
Все платформы ИИ сталкиваются с растущими требованиями. Это одна из причин, по которой Nvidia продолжает выпускать новые чипы с улучшенной производительностью. Новейший продукт компании — чип Blackwell, который уже используется в Together AI.
По словам Пракаша, чипы Blackwell стоят на 25% дороже предыдущего поколения, но обеспечивают вдвое большую производительность. Платформа GB 200 с чипами Blackwell идеально подходит для обучения и выполнения задач на моделях смешанных экспертов (MoE), которые обучаются на нескольких серверах, соединенных через InfiniBand.
Конкуренция на рынке ИИ-инфраструктуры
Рынок платформ для ИИ-инфраструктуры крайне конкурентен. Together AI конкурирует как с крупными облачными провайдерами, такими как Microsoft, AWS и Google, так и с новыми игроками, такими как Groq и Samba Nova.
Together AI предлагает полный стек решений, включая инфраструктуру на основе GPU и программные платформы. Это позволяет клиентам легко работать с открытыми моделями или разрабатывать свои собственные. Компания также активно занимается исследованиями, оптимизируя процессы обучения и выполнения задач.
«Например, мы обеспечиваем скорость обработки модели DeepSeek-R1 на уровне 85 токенов в секунду, в то время как Azure — только 7 токенов в секунду, — сказал Пракаш. — Это показывает, насколько наше решение эффективнее и выгоднее для клиентов».
