跳到主要内容
属于智能体与 LLM 咨询 →

基于您实际流量测量的 GPU 基础设施及基准测试。

我们基于您提供的提示词对引擎和硬件进行对比测试,并在您做出最终选择前,报告其吞吐量、延迟以及处理一百万个令牌的成本。

已发布的基准测试结果回答了其他人的问题

他人的提示词、他人的 GPU 卡、他人的配置。基于您自身流量的基准测试,才是能够预测您账单金额的依据。

运行环境

NVIDIA 技术栈

NIM 容器、用于微调的 NeMo、Nemotron 模型以及 TensorRT-LLM,可在您的 GPU 或租用的 GPU 上运行。

租用的 GPU 和 TPU

从 RunPod 或 Lambda 按需租用的 NVIDIA 显卡,或当模型和框架支持时租用的 Google Cloud TPU。我们根据当日的可用性和价格对它们进行比较。

本地部署

根据您的模型和负载配置的显卡,并配备您的团队运行这些显卡所需的监控功能。

我们的基准测试方法

您的工作负载

提示词来自您的日志,或长度相同的合成提示词。

相同条件

所有引擎均采用相同的单一负载生成器、固定版本、固定输出长度以及相同的缓存设置。

关键指标

首次令牌生成时间、令牌间隔时间、目标延迟下的吞吐量,以及每百万令牌的成本。

基准测试报告

附有表格、原始数据及所有命令,以便您的团队能够重新运行该实验。

买家常问的问题

vLLM、SGLang 还是 TensorRT-LLM?

这取决于模型、显卡以及您的流量特征。该基准测试将针对您的具体情况给出答案。

租用还是购买 GPU?

当负载不确定时选择租赁;当实测负载能使显卡保持足够繁忙,且购买成本低于租赁成本时,则选择购买。

您使用 TPU 吗?

具体取决于模型和框架是否支持,以及当日价格是否更优惠。在 TPU 上,模型通过 vLLM 或 SGLang 进行部署。

最后审阅:

请提供您的模型以及预期的流量数据。

我们对各候选方案进行测试,并向您展示每种方案每百万令牌的成本。

与我们交流