- Introduce el tamaño del lote. Cuenta todas las tareas que deben terminar.
- Usa una duración medida por tarea. Elige una media representativa bajo una carga similar.
- Indica el paralelismo. Introduce cuántas tareas pueden ejecutarse simultáneamente de forma sostenible.
- Añade sobrecarga. Reserva tiempo para coordinación, pausas y reintentos.
- Compara con tu ventana. El resultado principal se expresa en horas.
Estimador de capacidad de latencia para procesamiento por lotes LLM
Estima cuánto tardará en completarse un lote de tareas LLM cuando conoces la duración media de una tarea y cuántas pueden ejecutarse en paralelo. El cálculo convierte esa capacidad en tiempo total de procesamiento y permite añadir una sobrecarga porcentual para coordinación, colas o reintentos.
Sirve para comprobar si un lote cabe dentro de una ventana operativa o para comparar niveles de paralelismo. Es una aproximación de capacidad: en trabajos heterogéneos, las tareas largas pueden crear una cola final que aumente el tiempo real.
Datos de entrada
tareas
s
tareas
%
Resultado
—
horas estimadas para completar el lote
Tiempo base—
Sobrecarga añadida—
Throughput aproximado—
Tiempo base (s) = tareas × segundos por tarea / tareas simultáneas
Tiempo total = tiempo base × (1 + sobrecarga / 100)
Throughput ≈ tareas simultáneas / segundos por tarea
El modelo supone utilización continua del paralelismo y tareas de duración suficientemente homogénea.
Qué significa el resultado
Es la duración aproximada del lote si el paralelismo indicado puede mantenerse durante toda la ejecución.
Para ventanas estrictas, usa percentiles de duración o añade margen adicional por tareas lentas, arranque y drenaje de colas.
Datos: 20.000 tareas, 4,5 s por tarea, 120 simultáneas y 12 % de sobrecarga.
Cálculo: base = 20.000 × 4,5 / 120 = 750 s. Total = 750 × 1,12 = 840 s = 0,233 h.
Resultado: unas 0,23 horas, es decir, 14 minutos.
¿La duración por tarea debe ser media o p95?
Para una estimación central puedes usar la media. Si tienes un plazo rígido, un percentil alto o un margen mayor reduce el riesgo de infravalorar la cola final.
¿Qué significa tareas simultáneas?
Es el número de trabajos que el sistema puede mantener activos a la vez sin degradarse de forma inaceptable.
¿La fórmula incluye el tiempo de espera antes de empezar?
Solo mediante el porcentaje de sobrecarga. Si existe una espera fija conocida, añádela por separado al tiempo final.
¿Qué ocurre si algunas tareas son mucho más largas?
La distribución desigual puede dejar recursos ociosos mientras terminan las tareas lentas. El tiempo real puede superar la estimación basada en la media.
¿Cómo puedo reducir la duración del lote?
Aumenta el paralelismo sostenible, reduce el tiempo por tarea o divide el trabajo para mejorar el equilibrio, siempre comprobando límites de hardware y servicio.