Zum Inhalt springen
Teil von Agenten- und LLM-Beratung →

Private LLMs, auf Hardware, die Sie selbst kontrollieren.

Wir wählen ein Open-Weight-Modell aus, dessen Lizenz zu Ihrer Nutzung passt, dimensionieren die GPUs, stellen das Modell bereit und überwachen Durchsatz, Latenz und Kosten.

Prompts und Dokumente verbleiben in Ihrem Netzwerk

Es werden keine Daten an einen externen Modellanbieter weitergeleitet, was von Vorteil ist, wenn die britische DSGVO, das KVKK oder Ihre eigenen Kundenverträge Einschränkungen hinsichtlich der Datenübermittlung vorsehen.

Was wir gemeinsam mit Ihnen entscheiden

Modell und Lizenz

Die Lizenzen unterscheiden sich von Modell zu Modell, selbst innerhalb einer Modellfamilie wie Qwen, Mistral oder Nemotron: hinsichtlich kommerzieller Nutzung, Namensnennung, Hosting des Modells für Dritte und zulässiger Nutzung. Wir lesen die Lizenzdatei, bevor wir ein Modell empfehlen.

Hardware-Dimensionierung

Der GPU-Speicher für die Gewichte, die Kontextlänge und die Anzahl der Nutzer, die das Modell gleichzeitig verwenden, werden ermittelt, bevor Hardware angeschafft wird.

Modellbereitstellung

vLLM, SGLang oder TensorRT-LLM, ausgewählt, nachdem wir jede dieser Engines anhand Ihrer Anfragelast getestet haben.

So funktioniert es

Eine Auswahlliste von Modellen

Zwei oder drei Modelle, die der Aufgabe, den Lizenzbedingungen und dem Hardware-Budget entsprechen.

Benchmarking der Auswahlliste

Die in die engere Wahl gekommenen Modelle werden anhand Ihrer Prompts hinsichtlich Qualität, Geschwindigkeit und Kosten bewertet.

Bereitstellung

Das ausgewählte Modell wird hinter einer API bereitgestellt, die Ihre Systeme aufrufen können, einschließlich Zugriffskontrolle und Protokollierung.

Überwachung

Durchsatz, Warteschlangentiefe, Latenz und Token-Raten auf einem Dashboard, das Ihr Team einsehen kann.

Fragen, die Käufer stellen

Ist ein privates Modell genauso gut wie Claude oder GPT?

Für manche Aufgaben ja, für andere nein. Ihre Evaluierung zeigt Ihnen, welche das sind, bevor Sie Hardware anschaffen.

Welche Hardware benötigen wir?

Dies hängt von der Modellgröße, der Kontextlänge und der Anzahl der gleichzeitigen Nutzer ab. Wir ermitteln die erforderliche Größe anhand der von Ihnen angegebenen Zahlen.

Kann das Modell ohne Internetzugang ausgeführt werden?

Ja. Sobald sich die Gewichte auf Ihren Servern befinden, läuft das Modell innerhalb Ihres Netzwerks.

Zuletzt überprüft:

Bringen Sie die Daten mit, die Ihr Netzwerk nicht verlassen dürfen.

Teilen Sie uns mit, welche Aufgaben das Modell erfüllen soll. Wir erstellen eine Auswahlliste mit Modellen und legen die Hardware-Auslegung fest.

Sprechen Sie mit uns