提示词和文档始终保留在您的网络内
所有数据均不会传输至外部模型提供商,这在英国《通用数据保护条例》(UK GDPR)、土耳其《个人数据保护法》(KVKK)或您自身的客户合同对数据流向有限制时尤为重要。
我们将与您共同决定
模型与许可
不同模型的许可条款各不相同,即使在 Qwen、Mistral 或 Nemotron 等同一系列模型中也是如此:涉及商业用途、署名要求、为他人托管模型以及可接受的使用范围。我们在推荐模型前会仔细阅读许可文件。
硬件规格配置
在采购任何硬件之前,需先确定权重所需的 GPU 内存、上下文长度以及同时使用该模型的人数。
模型部署
vLLM、SGLang 或 TensorRT-LLM,我们将根据您的流量对它们分别进行测试后,再为您选定其中一种。
运行原理
模型精选列表
选择两到三个符合任务需求、许可条款和硬件预算的模型。
入围名单的基准测试
入围模型将根据您的提示词,在质量、速度和成本方面进行评估。
部署
所选模型将通过 API 提供服务,您的系统可调用该 API,并具备访问控制和日志记录功能。
监控
您团队所查看的仪表盘上显示的吞吐量、队列深度、延迟和令牌速率。
买家常问的问题
私有模型的性能能与 Claude 或 GPT 媲美吗?
对于某些任务来说是,对于其他任务则不是。在购买硬件之前,您的评估将显示具体情况。
我们需要什么样的硬件?
这取决于模型规模、上下文长度以及同时使用的人数。我们会根据您提供的数字进行配置。
它可以在没有互联网连接的情况下运行吗?
是的。一旦权重部署到您的服务器上,模型就会在您的网络内部运行。