属于智能体与 LLM 咨询 →
专为生产环境运行而设计的 Claude 和 GPT 集成方案。
我们通过工具调用、结构化输出和评估套件,将 Anthropic 和 OpenAI 的模型与您的系统连接起来,并确保月度账单可预测。
演示中未提及的内容
超时、速率限制、格式错误的回答、成本以及不断变化的模型版本。每一种情况都在代码中得到处理,并由相应的测试进行覆盖。
我们集成到系统中的功能
工具使用与MCP
模型通过预定义的工具或模型上下文协议(MCP)服务器调用您的API和数据库,权限设置按工具分别配置。
结构化输出
指符合代码验证的模式的答案,因此格式错误的答案在到达任何人之前就会被拦截。
成本控制
提示词缓存、对可延迟任务的批量处理,以及将简单请求路由至更小规模的模型。
我们的构建方式
先进行评估
基于实际案例构建的测试集,在提示词或模型发生每次变更时均需运行该测试集。
服务商备用方案
当某家服务商出现故障或响应缓慢时,请求将自动转至您已批准的另一款模型。
固定模型版本
模型版本会在新版本通过评估后被有意锁定并升级。
数据处理
我们将保留期限和供应商的数据选项设置为符合您的政策要求,并将其记录在案,无论是在供应商自身的API上,还是在Amazon Bedrock、Google Cloud或Microsoft Foundry平台上。
买家常问的问题
Claude 还是 GPT?
我们会根据您的评估标准对这两种方案进行测试,最终由测试结果和运行成本决定采用哪种方案。许多系统会根据不同任务,同时采用这两种方案。
Claude 或 GPT 能否进行微调?
其当前模型无法进行微调:Claude API 不提供微调功能,且 OpenAI 正在逐步关闭其微调平台。当任务需要微调后的模型时,我们会为您微调一个开放权重模型,该模型将由您保留。
我们的数据是否被用于训练他们的模型?
默认情况下,不会。Anthropic 不会在未经客户许可的情况下使用 API 数据进行训练,而 OpenAI 自 2023 年 3 月起,除非客户主动选择参与,否则不再使用 API 数据进行训练。数据保留期限因供应商和功能而异,我们将根据您的政策进行设置。