Ajuste fino de LLM, cuando su evaluación demuestre que merece la pena.
Ajustamos modelos de peso abierto a partir de sus ejemplos utilizando el método que admitan sus datos, y evaluamos el resultado comparándolo con el modelo de partida.
El ajuste modifica el comportamiento. La recuperación proporciona datos.
El ajuste fino enseña un formato, un tono o un patrón de decisión. Los datos que cambian pertenecen a la recuperación, donde pueden actualizarse el mismo día.
Lo que no cambia
Los datos son lo primero
Antes de iniciar cualquier entrenamiento, se comprueba la calidad, la cobertura y la superposición de los ejemplos con el conjunto de prueba.
Comparado con el modelo base
Cada modelo ajustado se evalúa con el mismo conjunto de prueba que el modelo de partida.
Sigue siendo suyo
El adaptador o los pesos ajustados, los datos de entrenamiento y los scripts son de su propiedad, dentro de los términos de la licencia del modelo base.
Los métodos y lo que requiere cada uno
Ajuste fino supervisado
Pares formados por una entrada y la respuesta deseada. El primer paso habitual, y el que necesitan la mayoría de los proyectos.
LoRA y QLoRA
Pequeños pesos de adaptador entrenados sobre un modelo congelado. Más económicos de entrenar y almacenar; QLoRA permite utilizar modelos más grandes en GPU más pequeñas.
Ajuste de preferencias
Pares de una respuesta mejor y otra peor, como en DPO. Este método enseña cuál de las dos respuestas aceptables prefiere usted.
Ajuste de tipo refuerzo
Recompensas procedentes de un verificador, como un conjunto de pruebas o una regla, tal y como ocurre en GRPO. Resulta adecuado para tareas con una respuesta correcta que un programa pueda verificar.
Destilación
Las respuestas de un modelo grande sirven para entrenar a uno más pequeño, que a su vez se ejecuta más rápido y resulta más económico en la tarea específica.
Preentrenamiento continuado
Un gran corpus de texto sin etiquetar en un idioma o ámbito que el modelo base conoce poco.
Preguntas que plantean los compradores
¿Cuántos datos necesitamos?
Eso depende del método y de la tarea. Analizamos los datos de los que dispone y le indicamos qué es lo que dichos datos pueden ofrecer antes de que comience cualquier entrenamiento.
¿Podría realizar un ajuste fino en Claude o GPT para nosotros?
Sus modelos actuales no admiten ajuste fino: ninguno de los dos proveedores ofrece esta opción en la actualidad. Nosotros realizamos un ajuste fino en un modelo de peso abierto, como gpt-oss, Qwen o Llama, y usted conserva el resultado.
¿Dónde se lleva a cabo el entrenamiento?
En sus GPU, en las GPU de NVIDIA alquiladas a RunPod o Lambda, o con NVIDIA NeMo, dentro de los límites que establezca su política de datos.
Aporte ejemplos de trabajos bien realizados.
Comprobamos qué pueden aportar esos ejemplos y si el ajuste supera al modelo base en su tarea.
Hablemos