GPU-Infrastruktur und Benchmarks, gemessen anhand Ihrer Anfragelast.
Wir vergleichen Inferenz-Engines und Hardware anhand Ihrer eigenen Prompts und berichten über Durchsatz, Latenz sowie die Kosten für eine Million Token, bevor Sie sich für eine der beiden Optionen entscheiden.
Veröffentlichte Benchmarks beantworten die Frage eines anderen
Fremde Prompts, fremde GPU-Karten, fremde Einstellungen. Ein Benchmark, der auf Ihrer Anfragelast basiert, ist derjenige, der Ihre Rechnung vorhersagt.
Wo die Ausführung stattfindet
Der NVIDIA-Stack
NIM-Container, NeMo für die Feinabstimmung, Nemotron-Modelle und TensorRT-LLM, auf Ihren eigenen oder gemieteten GPUs.
Gemietete GPUs und TPUs
NVIDIA-Karten, die bei Bedarf von RunPod oder Lambda gemietet werden, oder Google Cloud-TPUs, sofern das Modell und das Framework diese unterstützen. Wir vergleichen sie hinsichtlich ihrer Verfügbarkeit und des Tagespreises.
In Ihren eigenen Räumlichkeiten
Karten, die auf Ihr Modell und Ihre Auslastung zugeschnitten sind, zusammen mit den Überwachungsfunktionen, die Ihr Team für deren Betrieb benötigt.
So führen wir den Benchmark durch
Ihre Workloads
Es handelt sich um Prompts, die aus Ihren Protokollen wiedergegeben werden, oder um synthetische Prompts gleicher Länge.
Gleiche Bedingungen
Derselbe Lastgenerator für alle Inferenz-Engines, festgelegte Versionen, festen Ausgabelängen und identischen Cache-Einstellungen.
Die entscheidenden Kennzahlen
Zeit bis zum ersten Token, Zeit zwischen den Token, Durchsatz bei einer Ziel-Latenz sowie Kosten pro Million Token.
Der Benchmark-Bericht
Tabellen, die Rohdaten und alle Befehle, damit Ihr Team die Tests nachstellen kann.
Fragen, die Käufer stellen
vLLM, SGLang oder TensorRT-LLM?
Dies hängt vom Modell, der Karte und der Art Ihrer Anfragelast ab. Der Benchmark liefert die Antwort für Ihren Fall.
GPUs mieten oder kaufen?
Mieten Sie, solange die Auslastung ungewiss ist. Kaufen Sie, wenn die gemessene Auslastung die Karten so stark auslastet, dass der Kauf kostengünstiger ist als das Mieten.
Verwenden Sie TPUs?
Sofern das Modell und das Framework dies unterstützen und der Tagespreis günstiger ist. Auf TPUs werden Modelle mit vLLM oder SGLang bereitgestellt.
Stellen Sie uns das Modell und die von Ihnen erwartete Anfragelast zur Verfügung.
Wir messen die Kandidaten und zeigen Ihnen die Kosten pro Million Token für jeden einzelnen an.
Sprechen Sie mit uns