微调会改变模型的行为。检索则提供事实依据。
微调用于训练特定格式、语气或决策模式。会发生变化的事实应归入检索环节,这样可以当天更新。
不变的内容
数据为先
在开始任何训练之前,系统会检查示例的质量、覆盖范围以及与测试集的重叠情况。
以基础模型为基准进行评估
每个微调后的模型都会使用与其源模型相同的保留集进行评分。
它始终属于您
在基础模型许可条款的范围内,适配器或微调后的权重、训练数据以及脚本均归您所有。
这些方法及其各自的要求
有监督微调
输入与期望答案的配对。这是通常的第一步,也是大多数项目所需要的。
LoRA 和 QLoRA
在冻结模型之上训练的小型适配器权重。训练和存储成本更低;QLoRA 使大型模型也能在较小的 GPU 上运行。
偏好微调
如 DPO 中所示,由一个较优答案和一个较差答案组成的配对。该方法用于训练模型,使其能够识别两个可接受答案中您更倾向于哪一个。
强化学习风格的微调
来自检查器(如测试套件或规则)的奖励,例如在 GRPO 中。该方法适用于具有正确答案且程序可验证的任务。
知识蒸馏
大型模型的回答会用于训练一个较小的模型,该模型随后在特定任务上运行速度更快且成本更低。
基础模型的持续预训练
指基础模型对某语言或领域理解较弱时,该语言或领域中大量未标注的文本。
买家常问的问题
我们需要多少数据?
这取决于具体方法和任务。在开始任何训练之前,我们会分析您拥有的数据,并告知您这些数据能够支撑什么。
你能帮我们对 Claude 或 GPT 进行微调吗?
其当前模型无法进行微调:目前两家供应商均未提供此服务。我们将对 gpt-oss、Qwen 或 Llama 等开放权重模型进行微调,最终结果归您所有。
训练在何处进行?
可在您的 GPU 上、在从 RunPod 或 Lambda 租用的 NVIDIA GPU 上,或使用 NVIDIA NeMo 进行操作,但须在您的数据政策设定的边界内。