Together AI

Together AI

Together AI 是面向开发者和企业的全栈云平台,支持运行、微调和训练开源 AI 模型,提供 Serverless 推理 API 和 NVIDIA GPU 集群。

关注
最后更新 2026 年 10 月 21 日
Together AI 截图

简介

Together AI 是一个“AI Native Cloud”平台,帮助开发者和企业在无需自建基础设施的前提下运行、定制和训练开源 AI 模型。它解决的核心问题是:在生产环境中部署大语言模型和其他生成式模型时,如何在同一处获得快速推理、可预期的算力容量和价格合理的计算资源。

平台覆盖三个层面。推理服务通过 OpenAI 兼容 API(基础 URL 为 https://api.together.ai/v1)提供 200 多个开源模型,覆盖文本、图像、视频、代码和音频,计费方式从按 token 付费的 Serverless 端点,到附带 99% 正常运行时间 SLA 的专属 GPU 均有提供。模型塑造类产品涵盖微调(SFT 和 DPO)、强化学习后训练以及评估。算力类产品提供 NVIDIA GPU 集群(H100、H200、B200、GB200、GB300)、私有 AI Factory 方案、安全代码沙箱和托管存储。此外,Together AI 也以 FlashAttention 等系统研究闻名,并在商业产品之外运营一个初创企业加速器。

主要功能

Serverless 推理:通过 API 按需运行开源模型,按 token 计费,无需管理基础设施,也没有长期合约。
预留吞吐量与专属端点:提供附带 99% 正常运行时间 SLA 的预留 token 容量,以及部署在自定义硬件上的专属模型或容器,适合需要掌控权和固定成本的团队。
批量推理:处理大规模异步任务,单模型可扩展至 300 亿 token,成本低于实时推理服务。
微调与后训练:启动托管的 SFT 和 DPO 任务(支持超过 1000 亿参数的模型,可选全量权重或 LoRA),也可以自定义 RL 和 SPT 训练循环。
GPU 集群与 AI Factory:按需或预留方式租用 InfiniBand 互联的 NVIDIA H100、H200、B200、GB200/GB300 集群,或在更大规模上构建私有 GPU 云。
OpenAI 兼容 API:现有 OpenAI SDK 客户端可原样使用,降低切换或对比服务商的成本。
Together Link:在团队已有的开发工具链中直接运行开源模型,无需把工作流迁移到新环境。

定价与费用

  • 定价:在我们审阅的页面上未公开列出具体价格,请查看官方网站获取当前方案。定价按产品线划分(Serverless 按 token 计费、批量任务优惠价、预留吞吐量、专属部署以及 GPU 集群)。
  • API 兼容性:推理 API 兼容 OpenAI,可通过 https://api.together.ai/v1/models 查询实时模型目录。
  • 模型目录:200 多个模型,覆盖对话、图像、代码、视觉、视频和音频,包括 DeepSeek、GLM、Qwen、Llama、Gemma、Kimi 等开放权重模型系列。
  • GPU 硬件:提供 NVIDIA GB300 NVL72(72 块 Blackwell Ultra GPU、21TB HBM3e)、GB200 NVL72、HGX B300、HGX B200、HGX H200 和 HGX H100,可按需或预留使用;近期 GPU Clusters 还新增了按需 B200。

适用人群

Together AI 面向需要将生成式功能投入生产的开发者和 AI 原生公司。典型用户包括为特定任务微调开源模型的机器学习工程师、通过 API 集成 LLM/图像/视频生成的后端团队、在承诺专属算力之前希望先按 token 计费的初创公司,以及在租用 GPU 集群上训练或后训练大模型的研究和平台团队。已在使用 OpenAI SDK 的团队只需极少的代码改动即可将其指向 Together AI,因此它也是评估和成本对比的实用选择。

常见问题

Together AI 是什么?Together AI 是一个全栈云平台,用于运行、微调和训练开源及前沿 AI 模型,通过 OpenAI 兼容 API 提供推理 API、模型塑造工具和 NVIDIA GPU 集群。

Together AI 收费如何?我们审阅的页面上未公开列出具体价格;平台对 Serverless 推理、批量任务、预留吞吐量、专属部署和 GPU 集群均采用按用量计费。请查看官方定价页面获取最新费率。

Together AI 兼容 OpenAI SDK 吗?兼容。https://api.together.ai/v1 的推理 API 与 OpenAI 兼容,OpenAI SDK 客户端无需修改即可对接 Together AI。

可以在 Together AI 上微调大模型吗?可以。微调支持对开源模型进行 SFT 和 DPO,包括超过 1000 亿参数的模型,可选全量权重或 LoRA 方式,另支持自定义 RL 和 SFT 后训练循环。

Together AI 提供哪些 GPU?GPU Clusters 包括配备 InfiniBand 网络的 NVIDIA H100、H200、B200 和 GB200/GB300 系统,可按需或预留使用,另有面向大规模定制基础设施的私有 AI Factory 方案。