Estimador de throughput para procesamiento documental con IA

Este estimador traduce la latencia y el paralelismo de un sistema de procesamiento documental con IA en throughput: documentos que pueden completarse por hora y por día. Es una forma directa de comprobar si una configuración de workers o procesos concurrentes puede sostener el volumen esperado antes de realizar pruebas a gran escala.

La herramienta es adecuada para pipelines en los que cada unidad de trabajo puede aproximarse por un tiempo medio por documento. El resultado representa capacidad teórica continua; si hay esperas por API, almacenamiento, límites de cuota, colas o reintentos, conviene usar una latencia que ya capture esos efectos o aplicar una eficiencia inferior al 100 %.

Datos de entrada

procesos
s
h
%
Resultado
documentos por hora efectivos
Documentos/hora
Documentos/día
Documentos/minuto

1. Indica el paralelismo
Introduce cuántos documentos pueden procesarse al mismo tiempo.

2. Añade la latencia media
Usa segundos por documento medidos en una carga representativa.

3. Define la ventana diaria
Indica cuántas horas al día estará activo el pipeline.

4. Aplica una eficiencia
Reduce la capacidad teórica para reflejar pausas, colas, reintentos o periodos ociosos.

5. Revisa el throughput
La herramienta muestra capacidad efectiva por minuto, hora y día.

6. Compara con la demanda
Si el throughput diario queda por debajo del objetivo, aumenta concurrencia, reduce latencia o amplía la ventana operativa.

Throughput teórico/h = Concurrencia × 3.600 / Latencia
Throughput efectivo/h = Throughput teórico/h × Eficiencia / 100
Throughput/día = Throughput efectivo/h × Horas de operación

La fórmula supone que los procesos paralelos tienen rendimientos similares y que la latencia media es estable. La eficiencia permite descontar pérdidas operativas sin modelarlas una a una.

Qué significa el resultado

El resultado principal indica cuántos documentos por hora podría completar el sistema después de aplicar la eficiencia operativa.

Si la carga presenta ráfagas o documentos con tamaños muy distintos, complementa el promedio con percentiles de latencia y pruebas de cola.

Datos: 8 procesos concurrentes, 3,2 s por documento, 18 h/día y 85 % de eficiencia.

Throughput teórico/h = 8 × 3.600 / 3,2 = 9.000 docs/h
Throughput efectivo/h = 9.000 × 0,85 = 7.650 docs/h
Throughput diario = 7.650 × 18 = 137.700 docs/día

Resultado: la capacidad efectiva estimada es de 7.650 documentos por hora.

¿Por qué incluir una eficiencia operativa?

Porque la capacidad teórica rara vez se mantiene de forma continua. La eficiencia permite descontar colas, reintentos, pausas y otros tiempos no productivos.

¿Debo usar latencia media o percentil alto?

La media sirve para throughput agregado; un percentil alto es más conservador y puede ser mejor si el cumplimiento de plazos es crítico.

¿Más concurrencia aumenta el throughput de forma lineal?

La fórmula lo supone, pero en la práctica puede aparecer contención en CPU, memoria, almacenamiento, red o cuotas externas.

¿Cómo convierto el resultado en tiempo para un lote?

Divide el número de documentos del lote entre el throughput efectivo por hora. Si el lote es pequeño, el arranque y la finalización pueden hacer que el tiempo real sea mayor.

¿Throughput y latencia son lo mismo?

No. La latencia es el tiempo de una unidad de trabajo; el throughput mide cuántas unidades se completan por unidad de tiempo y depende también de la concurrencia.