跳到主要内容
属于智能体与 LLM 咨询 →

私有LLM,运行在您控制的硬件上。

我们将根据您的使用场景选择许可条款合适的开放权重模型,确定 GPU 规格,部署模型,并监控吞吐量、延迟和成本。

提示词和文档始终保留在您的网络内

所有数据均不会传输至外部模型提供商,这在英国《通用数据保护条例》(UK GDPR)、土耳其《个人数据保护法》(KVKK)或您自身的客户合同对数据流向有限制时尤为重要。

我们将与您共同决定

模型与许可

不同模型的许可条款各不相同,即使在 Qwen、Mistral 或 Nemotron 等同一系列模型中也是如此:涉及商业用途、署名要求、为他人托管模型以及可接受的使用范围。我们在推荐模型前会仔细阅读许可文件。

硬件规格配置

在采购任何硬件之前,需先确定权重所需的 GPU 内存、上下文长度以及同时使用该模型的人数。

模型部署

vLLM、SGLang 或 TensorRT-LLM,我们将根据您的流量对它们分别进行测试后,再为您选定其中一种。

运行原理

模型精选列表

选择两到三个符合任务需求、许可条款和硬件预算的模型。

入围名单的基准测试

入围模型将根据您的提示词,在质量、速度和成本方面进行评估。

部署

所选模型将通过 API 提供服务,您的系统可调用该 API,并具备访问控制和日志记录功能。

监控

您团队所查看的仪表盘上显示的吞吐量、队列深度、延迟和令牌速率。

买家常问的问题

私有模型的性能能与 Claude 或 GPT 媲美吗?

对于某些任务来说是,对于其他任务则不是。在购买硬件之前,您的评估将显示具体情况。

我们需要什么样的硬件?

这取决于模型规模、上下文长度以及同时使用的人数。我们会根据您提供的数字进行配置。

它可以在没有互联网连接的情况下运行吗?

是的。一旦权重部署到您的服务器上,模型就会在您的网络内部运行。

最后审阅:

将无法离开您网络的数据带进来。

请告知我们该模型应执行哪些任务。我们将为您筛选候选模型并确定硬件规格。

与我们交流