toolbox
Inicio / IA, datos y tecnología / Estimador de tasa de error para experimento bayesiano

Estimador de tasa de error para experimento bayesiano

Este estimador cuantifica el riesgo posterior de que la tasa real de un experimento binario quede por debajo de un umbral mínimo definido. A partir de los éxitos observados, el tamaño de la muestra y una distribución previa beta, calcula la media posterior y aproxima la probabilidad de incumplir el objetivo.

La medida puede utilizarse como señal de riesgo cuando una decisión depende de superar una conversión, una tasa de activación o cualquier otro resultado binario mínimo. No equivale a un error de medición ni a un p-valor: expresa una probabilidad posterior condicionada al modelo y a la previa. El cálculo emplea una aproximación normal de la beta posterior, adecuada como resumen rápido cuando la masa posterior no está concentrada cerca de 0 o 1 y la muestra es razonable.

Datos y umbral de decisión

%
Resultado
—
probabilidad posterior de quedar por debajo del objetivo
Media posterior—
Objetivo—
Distancia estandarizada—
Desviación posterior—

1. Registra éxitos y observaciones
Introduce el resultado binario acumulado de la variante analizada.

2. Especifica la previa beta
Usa α y β para representar la información previa sobre la tasa antes de observar estos datos.

3. Marca el objetivo mínimo
Indica la tasa que quieres superar. El estimador calcula el riesgo posterior de que la tasa real esté por debajo de ese umbral.

4. Lee la probabilidad de error
Un valor pequeño implica menor riesgo posterior de incumplir el objetivo; un valor alto indica que los datos no sostienen con fuerza que se supere el umbral.

Fórmula principal:

α_post = α + éxitos; β_post = β + n − éxitos; error ≈ Φ[(objetivo − media_post) / DE_post]

Variables:

  • Φ: función de distribución acumulada normal estándar.
  • media_post: α_post / (α_post + β_post).
  • DE_post: desviación estándar de la beta posterior.
  • objetivo: tasa mínima que se desea alcanzar, expresada como proporción.

Supuestos: La tasa es binaria y la posterior beta se aproxima por una normal para calcular la probabilidad de quedar por debajo del objetivo.

Qué significa el resultado

El resultado es una probabilidad posterior aproximada de incumplir la tasa objetivo. Por ejemplo, 8 % significa que, bajo el modelo especificado, queda aproximadamente un 8 % de masa posterior por debajo del umbral.

No es un p-valor ni una tasa de errores de los datos. Cambiar la previa o el objetivo puede modificar sustancialmente el resultado.

Datos:

  • 84 éxitos en 800 observaciones
  • Prior Beta(1,1)
  • Objetivo mínimo: 10 %

Cálculo:
La posterior es Beta(85,717). Media ≈ 10,60 % y DE ≈ 1,09 %. z = (10,00 % − 10,60 %) / 1,09 % ≈ −0,55. Φ(−0,55) ≈ 0,29.

Resultado:
Probabilidad de quedar por debajo del 10 % ≈ 29 %.

Interpretación:
Aunque la media posterior supera el objetivo, todavía existe una probabilidad posterior apreciable de que la tasa real sea inferior al 10 %.

¿Qué representa exactamente la “tasa de error”?

Aquí representa el riesgo posterior de no alcanzar un objetivo mínimo. No mide errores de captura, fallos técnicos ni respuestas incorrectas.

¿Puedo usar un objetivo del 0 % o del 100 %?

Sí, el formulario lo admite, aunque esos extremos suelen aportar poca información práctica. Los resultados quedarán muy cerca de 0 % o 100 % salvo casos límite.

¿Por qué la previa cambia el resultado?

En un análisis bayesiano la previa forma parte explícita del modelo. Su influencia es mayor con muestras pequeñas y disminuye a medida que se acumulan observaciones.

¿Cuándo es menos fiable la aproximación normal?

Cuando hay muy pocos éxitos o fracasos, o la posterior queda pegada a 0 o 1. En esos casos es preferible integrar la beta posterior de forma exacta.

¿Un riesgo del 5 % significa que debo lanzar la variante?

No existe un umbral universal. La decisión también depende del coste de equivocarse, del tamaño del efecto y de las reglas de decisión definidas para el experimento.