Ir al contenido
Parte de Consultoría de agentes y LLM →

LLM privados, en el hardware que usted controla.

Seleccionamos un modelo de peso abierto cuya licencia se adapte a su uso, determinamos el tamaño de las GPU, lo ponemos en servicio y supervisamos el rendimiento, la latencia y el coste.

Los prompts y los documentos permanecen en su red

No se envía nada a un proveedor de modelos externo, lo que resulta útil cuando el RGPD del Reino Unido, la KVKK o sus propios contratos con los clientes limitan el destino de los datos.

Lo que decidimos junto con usted

Modelo y licencia

Las licencias varían de un modelo a otro, incluso dentro de una misma familia, como Qwen, Mistral o Nemotron: en lo que respecta al uso comercial, la atribución, el alojamiento del modelo para terceros y el uso aceptable. Leemos el archivo de licencia antes de recomendar un modelo.

Dimensionamiento del hardware

La memoria de la GPU para los pesos, la longitud del contexto y el número de personas que lo utilizan simultáneamente se calculan antes de adquirir cualquier hardware.

Puesta en servicio de modelos

vLLM, SGLang o TensorRT-LLM, que se seleccionarán tras evaluar cada uno de ellos con su tráfico.

Cómo funciona

Una selección de modelos

Dos o tres modelos que se adapten a la tarea, a las condiciones de la licencia y al presupuesto destinado al hardware.

Pruebas comparativas de la lista de candidatos preseleccionados

Los modelos preseleccionados se evalúan en función de sus prompts en cuanto a calidad, velocidad y coste.

Implementación

El modelo elegido se ofrece a través de una API a la que sus sistemas pueden acceder, con control de acceso y registros.

Supervisión

El rendimiento, la profundidad de la cola, la latencia y las tasas de tokens en un panel de control que su equipo consulta.

Preguntas que plantean los compradores

¿Es un modelo privado tan bueno como Claude o GPT?

Para algunas tareas, sí; para otras, no. Su evaluación le indicará cuáles antes de adquirir el hardware.

¿Qué hardware necesitamos?

Esto depende del tamaño del modelo, de la longitud del contexto y del número de personas que lo utilicen simultáneamente. Determinamos el dimensionamiento a partir de las cifras que nos facilite.

¿Puede funcionar sin acceso a Internet?

Sí. Una vez que los pesos se encuentran en sus servidores, el modelo se ejecuta dentro de su red.

Última revisión:

Traiga los datos que no pueden salir de su red.

Indíquenos qué debe hacer el modelo con esos datos. Seleccionamos los modelos más adecuados y determinamos las especificaciones del hardware.

Hablemos