Trafiğinize göre ölçülen GPU altyapısı ve karşılaştırma testleri.
Motorları ve donanımı, sizin istemleriniz üzerinden karşılaştırıyor ve siz birine karar vermeden önce verim, gecikme süresi ve bir milyon tokenin maliyetini raporluyoruz.
Yayınlanan karşılaştırma testleri, başkalarının sorularına yanıt niteliğindedir
Başkalarının istemleri, başkalarının GPU kartları, başkalarının ayarları. Kendi trafiğinize göre yapılan bir karşılaştırma testi, faturanızı tahmin eden karşılaştırma testidir.
Çalıştığı yer
NVIDIA yığını
NIM konteynerleri, ince ayar için NeMo, Nemotron modelleri ve TensorRT-LLM, kendi GPU'larınızda veya kiralanan GPU'larda.
Kiralanan GPU'lar ve TPU'lar
RunPod veya Lambda’dan talep üzerine kiralanan NVIDIA kartları ya da model ve çerçevenin desteklediği durumlarda Google Cloud TPU’ları. Bunları o günkü kullanılabilirlik ve fiyat açısından karşılaştırıyoruz.
Kendi tesislerinizde
Modeliniz ve yükünüze uygun boyutlarda kartlar, ekibinizin bunları çalıştırmak için ihtiyaç duyduğu izleme özellikleriyle birlikte.
Karşılaştırma testlerimizi nasıl yapıyoruz
İş yükleriniz
Günlüklerinizden yeniden oynatılan istemler veya aynı uzunlukta sentetik istemler.
Aynı koşullar
Tüm motorlar için tek ve aynı yük üreteci, sabitlenmiş sürümler, sabit çıktı uzunlukları ve aynı önbellek ayarları.
Önemli metrikler
İlk token'a kadar geçen süre, token'lar arasındaki süre, belirli bir gecikme hedefindeki verim ve milyon token başına maliyet.
Karşılaştırma testi raporu
Tablolar, ham sayılar ve tüm komutlar; böylece ekibiniz bunları yeniden çalıştırabilir.
Alıcıların sorduğu sorular
vLLM, SGLang mi yoksa TensorRT-LLM mi?
Bu, modele, karta ve trafik yapınıza bağlıdır. Karşılaştırma testleri, sizin durumunuz için bu sorunun cevabını verir.
GPU'ları kiralamak mı, satın almak mı?
Yük belirsizken kiralayın. Ölçülen yük, kartları kiralamaktan daha ucuza mal olacak kadar meşgul tuttuğunda satın alın.
TPU kullanıyor musunuz?
Model ve çerçeve bunları destekliyorsa ve o günkü fiyat daha uygunsa. TPU’larda modeller, vLLM veya SGLang ile sunulur.
Bize modeli ve beklediğiniz trafik hacmini iletin.
Adayları ölçüyor ve her birinde milyon token başına maliyeti size gösteriyoruz.
Bizimle konuşun