LLM privados, en el hardware que usted controla.
Seleccionamos un modelo de peso abierto cuya licencia se adapte a su uso, determinamos el tamaño de las GPU, lo ponemos en servicio y supervisamos el rendimiento, la latencia y el coste.
Los prompts y los documentos permanecen en su red
No se envía nada a un proveedor de modelos externo, lo que resulta útil cuando el RGPD del Reino Unido, la KVKK o sus propios contratos con los clientes limitan el destino de los datos.
Lo que decidimos junto con usted
Modelo y licencia
Las licencias varían de un modelo a otro, incluso dentro de una misma familia, como Qwen, Mistral o Nemotron: en lo que respecta al uso comercial, la atribución, el alojamiento del modelo para terceros y el uso aceptable. Leemos el archivo de licencia antes de recomendar un modelo.
Dimensionamiento del hardware
La memoria de la GPU para los pesos, la longitud del contexto y el número de personas que lo utilizan simultáneamente se calculan antes de adquirir cualquier hardware.
Puesta en servicio de modelos
vLLM, SGLang o TensorRT-LLM, que se seleccionarán tras evaluar cada uno de ellos con su tráfico.
Cómo funciona
Una selección de modelos
Dos o tres modelos que se adapten a la tarea, a las condiciones de la licencia y al presupuesto destinado al hardware.
Pruebas comparativas de la lista de candidatos preseleccionados
Los modelos preseleccionados se evalúan en función de sus prompts en cuanto a calidad, velocidad y coste.
Implementación
El modelo elegido se ofrece a través de una API a la que sus sistemas pueden acceder, con control de acceso y registros.
Supervisión
El rendimiento, la profundidad de la cola, la latencia y las tasas de tokens en un panel de control que su equipo consulta.
Preguntas que plantean los compradores
¿Es un modelo privado tan bueno como Claude o GPT?
Para algunas tareas, sí; para otras, no. Su evaluación le indicará cuáles antes de adquirir el hardware.
¿Qué hardware necesitamos?
Esto depende del tamaño del modelo, de la longitud del contexto y del número de personas que lo utilicen simultáneamente. Determinamos el dimensionamiento a partir de las cifras que nos facilite.
¿Puede funcionar sin acceso a Internet?
Sí. Una vez que los pesos se encuentran en sus servidores, el modelo se ejecuta dentro de su red.
Traiga los datos que no pueden salir de su red.
Indíquenos qué debe hacer el modelo con esos datos. Seleccionamos los modelos más adecuados y determinamos las especificaciones del hardware.
Hablemos