Ir al contenido
Parte de Consultoría de agentes y LLM →

Infraestructura de GPU y pruebas comparativas, medidas en función de su tráfico.

Comparamos motores y hardware con sus propios prompts y le informamos del rendimiento, la latencia y el coste de un millón de tokens antes de que se decida por cualquiera de ellos.

Las pruebas comparativas publicadas responden a la pregunta de otra persona

Prompts de otros usuarios, tarjetas de GPU de otros usuarios, configuraciones de otros usuarios. Una prueba comparativa basada en su tráfico es la que permite predecir su factura.

Dónde se ejecuta

La pila de NVIDIA

Contenedores NIM, NeMo para el ajuste fino, modelos Nemotron y TensorRT-LLM, en sus propias GPU o en las alquiladas.

GPU y TPU alquiladas

Tarjetas NVIDIA alquiladas bajo demanda a RunPod o Lambda, o TPU de Google Cloud cuando el modelo y el marco de trabajo las admiten. Las comparamos en función de la disponibilidad y del precio del día.

En sus propias instalaciones

Tarjetas dimensionadas según su modelo y su carga, con la supervisión que su equipo necesita para ejecutarlas.

Cómo realizamos las pruebas comparativas

Sus cargas de trabajo

Los prompts reproducidos a partir de sus registros o sintéticos con la misma longitud.

Mismas condiciones

Se utiliza un único generador de carga para todos los motores, con versiones fijas, longitudes de salida fijas y la misma configuración de caché.

Las métricas que importan

Tiempo hasta el primer token, tiempo entre tokens, rendimiento con un objetivo de latencia y coste por millón de tokens.

El informe de pruebas comparativas

Tablas, las cifras brutas y todos los comandos, para que su equipo pueda volver a ejecutar el proceso.

Preguntas que plantean los compradores

¿vLLM, SGLang o TensorRT-LLM?

Depende del modelo, de la tarjeta y de la forma de su tráfico. La prueba comparativa le da la respuesta para su caso concreto.

¿Alquilar o comprar GPUs?

Alquile mientras la carga sea incierta. Compre cuando la carga medida mantenga las tarjetas lo suficientemente ocupadas como para que resulte más económico que alquilarlas.

¿Utiliza TPU?

Siempre que el modelo y el marco de trabajo lo admitan y el precio de ese día sea más ventajoso. En las TPU, los modelos se ejecutan con vLLM o SGLang.

Última revisión:

Facilítenos el modelo y el tráfico que prevé.

Medimos las opciones y le mostramos el coste por millón de tokens en cada una de ellas.

Hablemos