Zum Inhalt springen
Teil von Agenten- und LLM-Beratung →

GPU-Infrastruktur und Benchmarks, gemessen anhand Ihrer Anfragelast.

Wir vergleichen Inferenz-Engines und Hardware anhand Ihrer eigenen Prompts und berichten über Durchsatz, Latenz sowie die Kosten für eine Million Token, bevor Sie sich für eine der beiden Optionen entscheiden.

Veröffentlichte Benchmarks beantworten die Frage eines anderen

Fremde Prompts, fremde GPU-Karten, fremde Einstellungen. Ein Benchmark, der auf Ihrer Anfragelast basiert, ist derjenige, der Ihre Rechnung vorhersagt.

Wo die Ausführung stattfindet

Der NVIDIA-Stack

NIM-Container, NeMo für die Feinabstimmung, Nemotron-Modelle und TensorRT-LLM, auf Ihren eigenen oder gemieteten GPUs.

Gemietete GPUs und TPUs

NVIDIA-Karten, die bei Bedarf von RunPod oder Lambda gemietet werden, oder Google Cloud-TPUs, sofern das Modell und das Framework diese unterstützen. Wir vergleichen sie hinsichtlich ihrer Verfügbarkeit und des Tagespreises.

In Ihren eigenen Räumlichkeiten

Karten, die auf Ihr Modell und Ihre Auslastung zugeschnitten sind, zusammen mit den Überwachungsfunktionen, die Ihr Team für deren Betrieb benötigt.

So führen wir den Benchmark durch

Ihre Workloads

Es handelt sich um Prompts, die aus Ihren Protokollen wiedergegeben werden, oder um synthetische Prompts gleicher Länge.

Gleiche Bedingungen

Derselbe Lastgenerator für alle Inferenz-Engines, festgelegte Versionen, festen Ausgabelängen und identischen Cache-Einstellungen.

Die entscheidenden Kennzahlen

Zeit bis zum ersten Token, Zeit zwischen den Token, Durchsatz bei einer Ziel-Latenz sowie Kosten pro Million Token.

Der Benchmark-Bericht

Tabellen, die Rohdaten und alle Befehle, damit Ihr Team die Tests nachstellen kann.

Fragen, die Käufer stellen

vLLM, SGLang oder TensorRT-LLM?

Dies hängt vom Modell, der Karte und der Art Ihrer Anfragelast ab. Der Benchmark liefert die Antwort für Ihren Fall.

GPUs mieten oder kaufen?

Mieten Sie, solange die Auslastung ungewiss ist. Kaufen Sie, wenn die gemessene Auslastung die Karten so stark auslastet, dass der Kauf kostengünstiger ist als das Mieten.

Verwenden Sie TPUs?

Sofern das Modell und das Framework dies unterstützen und der Tagespreis günstiger ist. Auf TPUs werden Modelle mit vLLM oder SGLang bereitgestellt.

Zuletzt überprüft:

Stellen Sie uns das Modell und die von Ihnen erwartete Anfragelast zur Verfügung.

Wir messen die Kandidaten und zeigen Ihnen die Kosten pro Million Token für jeden einzelnen an.

Sprechen Sie mit uns