toolbox
Inicio / IA, datos y tecnología / A B Experiment Error Rate Estimator

A B Experiment Error Rate Estimator

Este estimador resume la tasa de errores operativos registrados durante la ejecución de un experimento A/B, por ejemplo exposiciones inválidas, eventos de conversión descartados, asignaciones duplicadas o registros que fallan una regla de calidad. Calcula la proporción de eventos problemáticos sobre el total inspeccionado y muestra cuántos eventos válidos quedan.

La herramienta está pensada para control de calidad de instrumentación, no para estimar el error tipo I o tipo II de una prueba estadística. Permite comparar la incidencia observada con un umbral interno y decidir si conviene investigar la canalización de datos antes de interpretar los resultados del experimento.

Datos de entrada

%
Resultado
—
tasa de error observada
Eventos válidos—
Errores por 10.000—
Estado frente al umbral—

1. Define la unidad de inspección
Decide si contarás usuarios, asignaciones, eventos o registros y usa la misma unidad en numerador y denominador.

2. Introduce el total revisado
Añade todas las observaciones a las que se aplicó el control de calidad.

3. Añade los errores
Cuenta solo los casos que cumplen tu definición de error operativo.

4. Fija un umbral interno
Introduce el porcentaje a partir del cual tu equipo desea investigar.

5. Revisa tasa y recuentos
Usa el porcentaje junto con el número absoluto y la métrica por 10.000 para comparar lotes de distinto tamaño.

Tasa de error = errores / total × 100 Válidos = total − errores Errores por 10.000 = errores / total × 10.000

La definición de “error” debe fijarse antes del cálculo y mantenerse estable entre comparaciones.

Qué significa el resultado

El porcentaje indica qué parte de las observaciones inspeccionadas presenta el problema operativo definido.

Una tasa baja no garantiza ausencia de sesgo: algunos errores poco frecuentes pueden concentrarse en una variante, dispositivo o segmento concreto.

Datos:

  • 100.000 eventos inspeccionados
  • 750 eventos con error
  • Umbral interno: 1 %

Cálculo:
750 / 100.000 × 100 = 0,75 %.
750 / 100.000 × 10.000 = 75 errores por 10.000.

Resultado:
0,75 % de error; 99.250 eventos válidos.

Interpretación:
La tasa queda por debajo del umbral del 1 %, aunque aún conviene revisar si los errores están distribuidos de forma uniforme.

¿Esta tasa es el nivel de significación del A/B test?

No. Aquí “error” se refiere a problemas de datos o instrumentación que tú defines; α y β pertenecen al análisis estadístico.

¿Qué debería contar como error?

Depende de tu canalización: asignaciones imposibles, eventos duplicados, pérdidas de identificador o registros fuera de contrato son ejemplos habituales. Documenta la regla.

¿Puedo comparar dos periodos con distinto volumen?

Sí. El porcentaje y los errores por 10.000 normalizan el volumen, aunque también conviene revisar los recuentos absolutos.

¿Qué pasa si los errores solo afectan a una variante?

La tasa global puede ocultarlo. Calcula la métrica por variante y por segmentos críticos para detectar asimetrías.

¿Cuál debe ser el umbral correcto?

No existe un único valor universal. Debe relacionarse con la tolerancia de tu sistema, el impacto del error y los controles de calidad de tu organización.