toolbox
Inicio / IA, datos y tecnología / Estimador de capacidad por latencia para atención al cliente con IA

Estimador de capacidad por latencia para atención al cliente con IA

Este estimador calcula cuántas interacciones de soporte deben poder procesarse en paralelo para sostener una tasa de consultas dada con la latencia media observada. Es especialmente útil cuando un asistente de IA recibe tráfico concentrado por horario, campañas o incidencias y necesitas evitar que el tiempo de espera crezca por falta de capacidad.

El modelo usa la relación entre solicitudes por minuto y tiempo de servicio, y después aplica un objetivo de utilización. Así obtienes una capacidad concurrente de referencia que puede traducirse a réplicas, workers o slots según la plataforma que utilices.

Demanda y tiempo de servicio

tareas/min
s
%
Resultado
—
Slots concurrentes
Concurrencia ocupada—
Holgura de capacidad—
Utilización objetivo—

1. Introduce la tasa de trabajo. Indica cuántas tareas llegan por minuto en el escenario que quieres dimensionar.

2. Añade la latencia media. Usa el tiempo medio durante el que una tarea ocupa capacidad de procesamiento.

3. Define la utilización objetivo. Elige el porcentaje máximo de ocupación sostenida que quieras asumir.

4. Revisa la concurrencia ocupada. Comprueba cuántos slots estarían ocupados de media con esa carga.

5. Usa la recomendación redondeada. Toma los slots concurrentes recomendados como punto de partida y añade redundancia si tu arquitectura la necesita.

Slots requeridos = (tareas/min × latencia en s / 60) ÷ (utilización/100)

La primera parte estima la concurrencia media ocupada mediante la relación entre tasa de llegada y tiempo de servicio. Dividir por la utilización objetivo añade capacidad libre.

Qué significa el resultado

El resultado es el número aproximado de trabajos que el sistema debe admitir de forma simultánea para sostener la carga indicada.

No sustituye un modelo de colas detallado; picos, variabilidad de latencia y límites de la plataforma pueden exigir capacidad adicional.

Datos: 1.500 consultas/minuto, 2,4 s de latencia media y 65 % de utilización objetivo.

Cálculo: concurrencia ocupada = 1.500 × 2,4 / 60 = 60. Capacidad ajustada = 60 / 0,65 = 92,31.

Resultado: conviene disponer de al menos 93 slots concurrentes.

¿Debo usar consultas por minuto o conversaciones completas?

Usa la unidad que corresponda a una operación del sistema. Si una conversación genera varias llamadas al modelo, estima cada llamada como tarea o ajusta la tasa para reflejarlas.

¿Una menor latencia reduce la capacidad necesaria?

Sí. Si cada tarea libera antes el slot de procesamiento, la misma infraestructura puede atender una tasa de llegada mayor, siempre que no aparezcan otros cuellos de botella.

¿Qué objetivo de utilización es adecuado?

Depende de la variabilidad y del nivel de servicio que quieras proteger. Un valor más bajo deja más holgura; la herramienta no impone un porcentaje universal.

¿Este cálculo garantiza un tiempo de espera concreto?

No. Es una aproximación de capacidad media y no un modelo completo de colas. Para SLO estrictos necesitarías analizar distribución de llegadas, percentiles de latencia y colas.

¿Cómo trato varios canales con cargas distintas?

Puedes sumar las tasas si comparten el mismo pool de capacidad y tienen latencias parecidas. Si el comportamiento es muy distinto, calcula cada grupo por separado.