跳到主要内容
属于智能体与 LLM 咨询 →

当评估结果表明值得投入时,即可进行 LLM 微调。

我们根据您的数据支持的方法,使用您的示例对开放权重模型进行微调,并将其结果与原始模型进行性能对比评估。

微调会改变模型的行为。检索则提供事实依据。

微调用于训练特定格式、语气或决策模式。会发生变化的事实应归入检索环节,这样可以当天更新。

不变的内容

数据为先

在开始任何训练之前,系统会检查示例的质量、覆盖范围以及与测试集的重叠情况。

以基础模型为基准进行评估

每个微调后的模型都会使用与其源模型相同的保留集进行评分。

它始终属于您

在基础模型许可条款的范围内,适配器或微调后的权重、训练数据以及脚本均归您所有。

这些方法及其各自的要求

有监督微调

输入与期望答案的配对。这是通常的第一步,也是大多数项目所需要的。

LoRA 和 QLoRA

在冻结模型之上训练的小型适配器权重。训练和存储成本更低;QLoRA 使大型模型也能在较小的 GPU 上运行。

偏好微调

如 DPO 中所示,由一个较优答案和一个较差答案组成的配对。该方法用于训练模型,使其能够识别两个可接受答案中您更倾向于哪一个。

强化学习风格的微调

来自检查器(如测试套件或规则)的奖励,例如在 GRPO 中。该方法适用于具有正确答案且程序可验证的任务。

知识蒸馏

大型模型的回答会用于训练一个较小的模型,该模型随后在特定任务上运行速度更快且成本更低。

基础模型的持续预训练

指基础模型对某语言或领域理解较弱时,该语言或领域中大量未标注的文本。

买家常问的问题

我们需要多少数据?

这取决于具体方法和任务。在开始任何训练之前,我们会分析您拥有的数据,并告知您这些数据能够支撑什么。

你能帮我们对 Claude 或 GPT 进行微调吗?

其当前模型无法进行微调:目前两家供应商均未提供此服务。我们将对 gpt-oss、Qwen 或 Llama 等开放权重模型进行微调,最终结果归您所有。

训练在何处进行?

可在您的 GPU 上、在从 RunPod 或 Lambda 租用的 NVIDIA GPU 上,或使用 NVIDIA NeMo 进行操作,但须在您的数据政策设定的边界内。

最后审阅:

请带来正确完成工作的示例。

我们将验证这些示例能支撑什么,以及在您的任务中,微调后的模型是否优于基础模型。

与我们交流