已发布的基准测试结果回答了其他人的问题
他人的提示词、他人的 GPU 卡、他人的配置。基于您自身流量的基准测试,才是能够预测您账单金额的依据。
运行环境
NVIDIA 技术栈
NIM 容器、用于微调的 NeMo、Nemotron 模型以及 TensorRT-LLM,可在您的 GPU 或租用的 GPU 上运行。
租用的 GPU 和 TPU
从 RunPod 或 Lambda 按需租用的 NVIDIA 显卡,或当模型和框架支持时租用的 Google Cloud TPU。我们根据当日的可用性和价格对它们进行比较。
本地部署
根据您的模型和负载配置的显卡,并配备您的团队运行这些显卡所需的监控功能。
我们的基准测试方法
您的工作负载
提示词来自您的日志,或长度相同的合成提示词。
相同条件
所有引擎均采用相同的单一负载生成器、固定版本、固定输出长度以及相同的缓存设置。
关键指标
首次令牌生成时间、令牌间隔时间、目标延迟下的吞吐量,以及每百万令牌的成本。
基准测试报告
附有表格、原始数据及所有命令,以便您的团队能够重新运行该实验。
买家常问的问题
vLLM、SGLang 还是 TensorRT-LLM?
这取决于模型、显卡以及您的流量特征。该基准测试将针对您的具体情况给出答案。
租用还是购买 GPU?
当负载不确定时选择租赁;当实测负载能使显卡保持足够繁忙,且购买成本低于租赁成本时,则选择购买。
您使用 TPU 吗?
具体取决于模型和框架是否支持,以及当日价格是否更优惠。在 TPU 上,模型通过 vLLM 或 SGLang 进行部署。