İçeriğe geç
Yapay Zeka Ajanı ve LLM Danışmanlığı kapsamında →

Kontrolünüz altındaki donanımda çalışan özel LLM'ler.

Kullanım amacınıza uygun lisanslı bir açık ağırlıklı model seçer, GPU'ların boyutlandırmasını yapar, modeli hizmete sunar ve verim, gecikme süresi ile maliyeti izleriz.

İstemler ve belgeler ağınızda kalır

Hiçbir bilgi dışarıdaki bir model sağlayıcısına aktarılmaz; bu durum, Birleşik Krallık GDPR, KVKK veya kendi müşteri sözleşmelerinizin verilerin aktarılabileceği yerleri kısıtladığı durumlarda yardımcı olur.

Sizinle birlikte karar vereceğimiz konular

Model ve lisans

Lisanslar, Qwen, Mistral veya Nemotron gibi tek bir model ailesi içinde bile modelden modele farklılık gösterir: ticari kullanım, kaynak gösterme, modeli başkaları için barındırma ve kabul edilebilir kullanım konularında farklılıklar vardır. Bir modeli önermeden önce lisans dosyasını okuruz.

Donanım boyutlandırma

Ağırlıklar için gereken GPU belleği, bağlam uzunluğu ve aynı anda modeli kullanan kişi sayısı, herhangi bir donanım satın alınmadan önce belirlenir.

Model sunumu

vLLM, SGLang veya TensorRT-LLM, trafiğiniz üzerinde her birini ölçtükten sonra seçilir.

Nasıl çalışır?

Kısa liste

Göreve, lisans koşullarına ve donanım bütçesine uygun iki veya üç model.

Kısa listenin karşılaştırma testi

Seçilen modeller, istemleriniz temelinde kalite, hız ve maliyet açısından değerlendirilir.

Dağıtım

Seçilen model, erişim kontrolü ve günlük kayıtları ile birlikte, sistemlerinizin çağırabileceği bir API üzerinden sunulur.

İzleme

Ekibinizin takip ettiği bir kontrol panelinde görüntülenen verim, kuyruk derinliği, gecikme süresi ve token oranları.

Alıcıların sorduğu sorular

Özel bir model, Claude veya GPT kadar iyi midir?

Bazı görevler için evet, diğerleri için hayır. Donanımı satın almadan önce yapacağınız değerlendirme hangilerinin uygun olduğunu gösterir.

Hangi donanıma ihtiyacımız var?

Bu, modelin boyutuna, bağlam uzunluğuna ve aynı anda kaç kişinin kullandığına bağlıdır. Bize verdiğiniz rakamlara göre boyutlandırma yapıyoruz.

İnternet erişimi olmadan çalışabilir mi?

Evet. Ağırlıklar sunucularınıza yüklendiğinde, model ağınızın içinde çalışır.

Son güncelleme:

Ağınızdan dışarı çıkamayan verileri getirin.

Modelin bu verilerle ne yapması gerektiğini bize söyleyin. Biz de modelleri kısa listeye alır ve donanım boyutunu belirleriz.

Bizimle konuşun