toolbox
Inicio / IA, datos y tecnología / Bayesian Experiment Statistical Power Calculator

Bayesian Experiment Statistical Power Calculator

Esta calculadora estima la probabilidad de que una variante supere a otra después de observar conversiones en un experimento bayesiano binario. Actualiza un prior Beta para control y tratamiento y aproxima la distribución de la diferencia posterior mediante sus medias y varianzas. La cifra principal puede interpretarse como una medida de evidencia a favor de B sobre A dentro del modelo especificado.

A diferencia de la potencia frecuentista, el resultado depende tanto de los datos como del prior elegido y no es un p-valor. Puede ayudar a seguir la evolución de un experimento o comparar escenarios de decisión, siempre que el equipo haya definido qué probabilidad, magnitud de mejora o pérdida económica considera suficiente para actuar.

Datos de entrada

Resultado
—
probabilidad posterior aproximada de B > A
Medias posteriores A / B—
Diferencia posterior media—
Odds aproximadas B>A—

1. Introduce las observaciones
Añade usuarios y conversiones para control y tratamiento.

2. Define el prior Beta
α y β deben ser positivos. Beta(1,1) representa un prior uniforme sobre la tasa de conversión.

3. Comprueba las conversiones
Cada recuento de conversiones debe estar entre 0 y el tamaño de su grupo.

4. Lee la probabilidad posterior
La cifra principal aproxima P(pB > pA) bajo las posteriores Beta.

5. Valora también la magnitud
Una probabilidad alta con una diferencia minúscula puede no justificar un cambio; revisa la diferencia posterior y el impacto práctico.

pA | datos ~ Beta(α + xA, β + nA − xA) pB | datos ~ Beta(α + xB, β + nB − xB) P(B > A) ≈ Φ[(μB−μA)/√(VarA+VarB)]

La media y varianza de Beta(a,b) son a/(a+b) y ab/[(a+b)²(a+b+1)]. La comparación usa una aproximación normal de la diferencia.

Qué significa el resultado

El porcentaje principal cuantifica, bajo el prior y la aproximación elegidos, cuánta probabilidad posterior se asigna a que la tasa de B sea mayor que la de A.

Para decisiones con costes asimétricos o umbrales de mejora mínima, conviene calcular también la probabilidad de superar ese umbral y la pérdida esperada.

Datos:

  • A: 500 conversiones de 5.000 usuarios
  • B: 600 conversiones de 5.000 usuarios
  • Prior Beta(1,1)

Cálculo:
Posterior A = Beta(501, 4.501), con media ≈ 10,016 %.
Posterior B = Beta(601, 4.401), con media ≈ 12,015 %.
La aproximación normal de la diferencia da P(B>A) ≈ 99,93 %.

Resultado:
P(B>A) ≈ 99,93 %; diferencia posterior media ≈ 2,00 p.p.

Interpretación:
La evidencia posterior favorece claramente a B bajo este prior, aunque la decisión debería considerar también si una mejora de unos 2 puntos es relevante para el negocio.

¿Esto es lo mismo que un p-valor?

No. Un p-valor es una probabilidad calculada bajo una hipótesis nula; aquí se estima una probabilidad posterior sobre los parámetros dentro de un modelo bayesiano.

¿Qué prior debo usar?

Debe reflejar conocimiento previo razonable o una elección deliberadamente débil. Cuando la muestra es grande, un prior poco informativo suele tener menos influencia.

¿Puede una probabilidad alta corresponder a una mejora pequeña?

Sí. Con mucha muestra puede haber gran certeza sobre una diferencia muy pequeña; por eso conviene mirar también la magnitud posterior.

¿La aproximación normal siempre es adecuada?

Funciona mejor cuando las posteriores no están muy pegadas a 0 o 1 y contienen suficiente información. En casos extremos, una integración exacta o simulación puede ser preferible.

¿Cómo se relaciona con un cálculo de muestra bayesiano?

El cálculo de muestra proyecta cuántos datos podrían necesitarse bajo un efecto supuesto; esta herramienta evalúa la evidencia posterior con datos ya observados.