LLM ince ayarı, değerlendirmeniz bunun faydalı olduğunu gösterdiğinde uygulanır.
Verilerinizin desteklediği yöntemle, örnekleriniz üzerinde açık ağırlıklı modelleri ince ayarlıyoruz ve sonucu, başlangıçtaki modelle karşılaştırarak puanlıyoruz.
Ayarlama, davranışta değişiklik yaratır. Bilgi getirme ise gerçekleri sağlar.
İnce ayar bir format, bir üslup veya bir karar verme modelini öğretir. Değişen bilgiler, aynı gün içinde güncellenebilen bilgi getirme sürecine aittir.
Değişmeyenler
Önce veriler gelir
Örnekler, herhangi bir eğitim başlamadan önce kalite, kapsam ve test kümesiyle örtüşme açısından kontrol edilir.
Temel modele göre ölçülür
Her ince ayarlanmış model, başlangıç noktası olan modelle aynı test kümesi üzerinde değerlendirilir.
Sizde kalır
Temel modelin lisans koşulları dahilinde, adaptör veya ayarlanmış ağırlıklar, eğitim verileri ve komut dosyaları size aittir.
Yöntemler ve her birinin gereksinimleri
Denetimli ince ayar
Giriş ve istediğiniz yanıtın çiftleri. Genellikle ilk adımdır ve çoğu projenin ihtiyaç duyduğu adımdır.
LoRA ve QLoRA
Dondurulmuş bir modelin üzerine eğitilen küçük adaptör ağırlıkları. Eğitimi ve depolaması daha ucuzdur; QLoRA, daha büyük modelleri daha küçük GPU’lara sığdırır.
Tercih ayarlaması
DPO’da olduğu gibi, daha iyi ve daha kötü cevap çiftleri. Bu yöntem, iki kabul edilebilir cevap arasından hangisini tercih ettiğinizi öğretir.
Pekiştirme tabanlı ince ayar
GRPO’da olduğu gibi, test paketi veya kural gibi bir denetleyiciden gelen ödüller. Bu, bir programın doğrulayabileceği doğru cevabı olan görevler için uygundur.
Damıtma
Büyük bir modelin cevapları, daha küçük bir modeli eğitir; bu model de daha dar kapsamlı görevlerde daha hızlı ve daha düşük maliyetle çalışır.
Ön eğitimin devamı
Temel modelin yeterince tanımadığı bir dilde veya alanda bulunan, etiketlenmemiş büyük bir metin kümesi.
Alıcıların sorduğu sorular
Ne kadar veriye ihtiyacımız var?
Bu, yönteme ve göreve bağlıdır. Elinizdeki verileri inceler ve herhangi bir eğitim başlamadan önce bu verilerin neleri destekleyebileceğini size bildiririz.
Claude veya GPT'yi bizim için ince ayarlayabilir misiniz?
Mevcut modellerin ince ayarı yapılamaz: şu anda hiçbir sağlayıcı bu hizmeti sunmamaktadır. gpt-oss, Qwen veya Llama gibi açık ağırlıklı bir modele ince ayar yapıyoruz ve sonuç size kalıyor.
Eğitim nerede gerçekleştirilir?
Kendi GPU'larınızda, RunPod veya Lambda'dan kiralanan NVIDIA GPU'larda ya da NVIDIA NeMo ile, veri politikanızın belirlediği sınırlar dahilinde.
Doğru şekilde yapılmış çalışmaların örneklerini getirin.
Bu örneklerin neleri destekleyebileceğini ve ince ayarlamanın görevinizde temel modeli aşıp aşmadığını kontrol ediyoruz.
Bizimle konuşun