Kontrolünüz altındaki donanımda çalışan özel LLM'ler.
Kullanım amacınıza uygun lisanslı bir açık ağırlıklı model seçer, GPU'ların boyutlandırmasını yapar, modeli hizmete sunar ve verim, gecikme süresi ile maliyeti izleriz.
İstemler ve belgeler ağınızda kalır
Hiçbir bilgi dışarıdaki bir model sağlayıcısına aktarılmaz; bu durum, Birleşik Krallık GDPR, KVKK veya kendi müşteri sözleşmelerinizin verilerin aktarılabileceği yerleri kısıtladığı durumlarda yardımcı olur.
Sizinle birlikte karar vereceğimiz konular
Model ve lisans
Lisanslar, Qwen, Mistral veya Nemotron gibi tek bir model ailesi içinde bile modelden modele farklılık gösterir: ticari kullanım, kaynak gösterme, modeli başkaları için barındırma ve kabul edilebilir kullanım konularında farklılıklar vardır. Bir modeli önermeden önce lisans dosyasını okuruz.
Donanım boyutlandırma
Ağırlıklar için gereken GPU belleği, bağlam uzunluğu ve aynı anda modeli kullanan kişi sayısı, herhangi bir donanım satın alınmadan önce belirlenir.
Model sunumu
vLLM, SGLang veya TensorRT-LLM, trafiğiniz üzerinde her birini ölçtükten sonra seçilir.
Nasıl çalışır?
Kısa liste
Göreve, lisans koşullarına ve donanım bütçesine uygun iki veya üç model.
Kısa listenin karşılaştırma testi
Seçilen modeller, istemleriniz temelinde kalite, hız ve maliyet açısından değerlendirilir.
Dağıtım
Seçilen model, erişim kontrolü ve günlük kayıtları ile birlikte, sistemlerinizin çağırabileceği bir API üzerinden sunulur.
İzleme
Ekibinizin takip ettiği bir kontrol panelinde görüntülenen verim, kuyruk derinliği, gecikme süresi ve token oranları.
Alıcıların sorduğu sorular
Özel bir model, Claude veya GPT kadar iyi midir?
Bazı görevler için evet, diğerleri için hayır. Donanımı satın almadan önce yapacağınız değerlendirme hangilerinin uygun olduğunu gösterir.
Hangi donanıma ihtiyacımız var?
Bu, modelin boyutuna, bağlam uzunluğuna ve aynı anda kaç kişinin kullandığına bağlıdır. Bize verdiğiniz rakamlara göre boyutlandırma yapıyoruz.
İnternet erişimi olmadan çalışabilir mi?
Evet. Ağırlıklar sunucularınıza yüklendiğinde, model ağınızın içinde çalışır.
Ağınızdan dışarı çıkamayan verileri getirin.
Modelin bu verilerle ne yapması gerektiğini bize söyleyin. Biz de modelleri kısa listeye alır ve donanım boyutunu belirleriz.
Bizimle konuşun