İçeriğe geç
Yapay Zeka Ajanı ve LLM Danışmanlığı kapsamında →

Trafiğinize göre ölçülen GPU altyapısı ve karşılaştırma testleri.

Motorları ve donanımı, sizin istemleriniz üzerinden karşılaştırıyor ve siz birine karar vermeden önce verim, gecikme süresi ve bir milyon tokenin maliyetini raporluyoruz.

Yayınlanan karşılaştırma testleri, başkalarının sorularına yanıt niteliğindedir

Başkalarının istemleri, başkalarının GPU kartları, başkalarının ayarları. Kendi trafiğinize göre yapılan bir karşılaştırma testi, faturanızı tahmin eden karşılaştırma testidir.

Çalıştığı yer

NVIDIA yığını

NIM konteynerleri, ince ayar için NeMo, Nemotron modelleri ve TensorRT-LLM, kendi GPU'larınızda veya kiralanan GPU'larda.

Kiralanan GPU'lar ve TPU'lar

RunPod veya Lambda’dan talep üzerine kiralanan NVIDIA kartları ya da model ve çerçevenin desteklediği durumlarda Google Cloud TPU’ları. Bunları o günkü kullanılabilirlik ve fiyat açısından karşılaştırıyoruz.

Kendi tesislerinizde

Modeliniz ve yükünüze uygun boyutlarda kartlar, ekibinizin bunları çalıştırmak için ihtiyaç duyduğu izleme özellikleriyle birlikte.

Karşılaştırma testlerimizi nasıl yapıyoruz

İş yükleriniz

Günlüklerinizden yeniden oynatılan istemler veya aynı uzunlukta sentetik istemler.

Aynı koşullar

Tüm motorlar için tek ve aynı yük üreteci, sabitlenmiş sürümler, sabit çıktı uzunlukları ve aynı önbellek ayarları.

Önemli metrikler

İlk token'a kadar geçen süre, token'lar arasındaki süre, belirli bir gecikme hedefindeki verim ve milyon token başına maliyet.

Karşılaştırma testi raporu

Tablolar, ham sayılar ve tüm komutlar; böylece ekibiniz bunları yeniden çalıştırabilir.

Alıcıların sorduğu sorular

vLLM, SGLang mi yoksa TensorRT-LLM mi?

Bu, modele, karta ve trafik yapınıza bağlıdır. Karşılaştırma testleri, sizin durumunuz için bu sorunun cevabını verir.

GPU'ları kiralamak mı, satın almak mı?

Yük belirsizken kiralayın. Ölçülen yük, kartları kiralamaktan daha ucuza mal olacak kadar meşgul tuttuğunda satın alın.

TPU kullanıyor musunuz?

Model ve çerçeve bunları destekliyorsa ve o günkü fiyat daha uygunsa. TPU’larda modeller, vLLM veya SGLang ile sunulur.

Son güncelleme:

Bize modeli ve beklediğiniz trafik hacmini iletin.

Adayları ölçüyor ve her birinde milyon token başına maliyeti size gösteriyoruz.

Bizimle konuşun