Estima la capacidad de un servicio de traducción con IA a partir de la concurrencia disponible, la latencia media por texto y una utilización objetivo. Convierte estos parámetros en traducciones por segundo, minuto y hora para que puedas comparar la capacidad del sistema con el ritmo de llegada esperado. Es útil al evaluar límites de workers o API, al comprobar el efecto de reducir la latencia y al decidir cuánta holgura reservar antes de que aparezcan colas sostenidas.
1. Define la concurrencia. Indica cuántas traducciones pueden procesarse simultáneamente.
2. Mide latencia extremo a extremo. Incluye el tiempo relevante desde la solicitud hasta la respuesta completa.
3. Reserva utilización. Elige un porcentaje sostenible por debajo del máximo teórico.
4. Compara con llegadas. Contrasta las traducciones por hora con tu demanda en horas punta.
5. Evalúa cambios. Prueba más concurrencia o menor latencia para cuantificar el efecto sobre capacidad.
La relación principal utilizada es:
Capacidad/s = concurrencia ÷ latencia(s) × utilizaciónconcurrencia: número de traducciones simultáneas.
latencia: segundos medios por traducción.
utilización: fracción de capacidad que se pretende ocupar.
Supuesto: Se supone que la latencia es relativamente estable y que la concurrencia indicada puede mantenerse sin degradar de forma importante el tiempo de respuesta.
La cifra principal aproxima cuántas traducciones podrían completarse por hora con la concurrencia y latencia indicadas.
Los límites de cuota, tamaño de contexto, streaming o variaciones por idioma pueden reducir la capacidad real.
Datos: concurrencia 30, latencia 2,5 s y utilización 75 %.
Cálculo: 30/2,5 × 0,75 = 9 traducciones/s. Por minuto = 540; por hora = 32.400.
Resultado: capacidad estimada de 32.400 traducciones por hora.
Si quieres estimar experiencia extremo a extremo, sí; pero para capacidad del servicio puro puede ser más útil separar espera y tiempo de ejecución. Mantén el criterio estable al comparar escenarios.
No necesariamente. Puede estar limitada por workers, conexiones, cuotas o capacidad del modelo, tanto en infraestructura propia como en una API externa.
La media puede ocultar dispersión. Segmenta por longitud o usa métricas por percentil cuando los tamaños sean muy variables.
Si la tasa de llegada supera durante suficiente tiempo la capacidad de servicio efectiva, la cola tenderá a crecer. Esta herramienta no modela la dinámica temporal de esa cola.
Si ejecutas el modelo en infraestructura propia, combina la demanda objetivo con tokens por tarea y rendimiento por GPU en el estimador de GPU de traducción.