toolbox
Inicio / IA, datos y tecnología / Bayesian Experiment Sample Size Estimator

Bayesian Experiment Sample Size Estimator

Esta calculadora ofrece una planificación aproximada del tamaño de muestra para un experimento bayesiano con una métrica binaria. En lugar de fijar la muestra a partir de un umbral de p-valor, utiliza una aproximación normal a la posterior de la diferencia entre dos proporciones y busca cuántas observaciones por variante harían que la probabilidad posterior de que el tratamiento supere al control alcance un objetivo dado, suponiendo un efecto esperado.

Es una aproximación de planificación, no una regla universal para diseños bayesianos. Los resultados dependen del prior, la regla de decisión, la pérdida aceptable y la posibilidad de detener el experimento de forma secuencial. Aquí se usa un prior Beta simétrico sencillo y asignación 1:1 para ofrecer una referencia transparente.

Datos de entrada

%
p.p.
%
Resultado
—
observaciones aproximadas por variante
Muestra total A+B—
Conversión alternativa—
Prior Beta usado—

1. Define la conversión esperada
Introduce la tasa base y una mejora absoluta plausible en puntos porcentuales.

2. Elige la probabilidad objetivo
Indica qué probabilidad posterior de superioridad quieres alcanzar bajo ese efecto esperado.

3. Ajusta el prior
La fuerza indicada se usa como α = β del prior Beta; 1 corresponde a Beta(1,1).

4. Revisa la muestra
La herramienta busca iterativamente el menor n aproximado que alcanza el objetivo bajo datos esperados.

5. Haz análisis de sensibilidad
Prueba efectos y priors alternativos, porque la muestra bayesiana depende de las decisiones de modelado.

Posterior A ~ Beta(a + n·p₁, b + n·(1−p₁)) Posterior B ~ Beta(a + n·p₂, b + n·(1−p₂)) P(B > A) ≈ Φ[(μB−μA)/√(VarA+VarB)]

Se busca el menor n por variante cuya probabilidad aproximada alcanza el objetivo. El cálculo usa recuentos esperados no necesariamente enteros para planificación.

Qué significa el resultado

La cifra principal es una referencia de cuántas observaciones por variante podrían ser necesarias para alcanzar la probabilidad posterior objetivo si el efecto esperado se materializa.

En un análisis bayesiano real, la muestra y la decisión deben definirse junto con el prior, la utilidad y la política de parada.

Datos:

  • Conversión base: 10 %
  • Mejora esperada: 2 p.p.
  • Objetivo: P(B>A) = 95 %
  • Prior Beta(1,1)

Cálculo:
Con n = 1.331, la posterior esperada de A es aproximadamente Beta(134,1; 1.198,9) y la de B Beta(160,72; 1.172,28). Al combinar sus medias y varianzas, Φ[(μB−μA)/SE] ≈ 0,95005.

Resultado:
1.331 observaciones por variante; 2.662 en total.

Interpretación:
Bajo el efecto supuesto y el prior Beta(1,1), esa muestra alcanza aproximadamente el 95 % de probabilidad posterior de superioridad en este modelo de planificación.

¿Por qué una calculadora bayesiana necesita un prior?

Porque la inferencia bayesiana combina los datos con una distribución previa. Distintos priors pueden cambiar la posterior, sobre todo con muestras pequeñas.

¿Es equivalente a una potencia del 80 %?

No. La probabilidad posterior de superioridad y la potencia frecuentista son cantidades distintas y responden a marcos de decisión diferentes.

¿Qué representa “fuerza del prior por resultado”?

Se utiliza como α = β en un prior Beta simétrico. Valores mayores concentran más masa alrededor del 50 % y pesan más frente a los datos iniciales.

¿Puedo detener el experimento antes si alcanzo el objetivo?

En un diseño bayesiano puede plantearse una regla secuencial, pero conviene definir por adelantado la política de parada y sus implicaciones de decisión.

¿Por qué el resultado es aproximado?

La herramienta aproxima la diferencia de dos posteriores Beta mediante una normal y usa datos esperados. Un diseño final puede requerir simulación de Monte Carlo.