toolbox
Inicio / IA, datos y tecnología / A B Experiment Statistical Power Calculator

A B Experiment Statistical Power Calculator

Esta calculadora estima la potencia estadística de un experimento A/B para una diferencia concreta entre dos tasas de conversión y un tamaño de muestra ya definido. La potencia es la probabilidad aproximada de obtener un resultado estadísticamente significativo cuando el efecto supuesto existe realmente.

Sirve para evaluar si el tráfico previsto es suficiente antes del lanzamiento o para entender por qué un experimento con pocas observaciones puede tener una alta probabilidad de no detectar un cambio real. El cálculo usa una aproximación normal bilateral y debe verse como una herramienta de planificación, no como una sustitución del análisis estadístico completo.

Datos de entrada

%
%
%
Resultado
—
potencia estadística estimada
Diferencia absoluta—
Probabilidad β aprox.—
Confianza equivalente—

1. Indica las dos conversiones
Introduce la tasa esperada en control y en tratamiento.

2. Añade la muestra por grupo
Usa observaciones independientes y el mismo tamaño para ambas variantes.

3. Define α
El nivel de significación controla el umbral de falso positivo de la prueba bilateral.

4. Lee la potencia
Una potencia más alta implica menor probabilidad aproximada de pasar por alto el efecto supuesto.

5. Explora escenarios
Cambia la muestra o el efecto para observar qué variable aporta más sensibilidad.

SE₀ = √(2p̄(1−p̄)/n) SE₁ = √((p₁(1−p₁)+p₂(1−p₂))/n) Potencia ≈ P(|D| > zα·SE₀ | diferencia = p₂−p₁)

La probabilidad se calcula con la distribución normal bajo la alternativa, incluyendo ambas colas de una prueba bilateral.

Qué significa el resultado

La potencia estima la probabilidad de detectar como significativa la diferencia introducida si esa diferencia fuese la verdadera.

La potencia previa no convierte un resultado observado en una probabilidad de que la hipótesis sea verdadera; responde a una pregunta de diseño distinta.

Datos:

  • Control: 10 %
  • Alternativa: 12 %
  • 4.000 observaciones por variante
  • α = 5 %

Cálculo:
La diferencia es 0,02. Con el error estándar bajo H₀ y H₁, se calcula la probabilidad de caer fuera de ±1,96·SE₀ bajo la alternativa.

Resultado:
Potencia aproximada cercana al 81 %.

Interpretación:
Con 4.000 observaciones por grupo, el diseño tiene una probabilidad elevada, aunque no segura, de detectar una mejora de 2 puntos.

¿Potencia del 80 % significa que el experimento acertará el 80 % de las veces?

No. Significa que, bajo el efecto concreto que has supuesto y el modelo de la prueba, aproximadamente el 80 % de experimentos serían significativos.

¿Qué diferencia hay entre potencia y confianza?

La confianza está relacionada con el umbral de falso positivo; la potencia se relaciona con la probabilidad de detectar un efecto real del tamaño supuesto.

¿Aumentar la muestra siempre aumenta la potencia?

En este modelo, sí, manteniendo iguales el efecto y α. El aumento tiene rendimientos decrecientes.

¿Puedo calcular potencia después de ver el resultado?

La llamada “potencia observada” suele aportar poca información adicional porque está muy ligada al p-valor observado. Esta herramienta es más útil para planificación previa.

¿Qué pasa si control y tratamiento tienen muestras distintas?

Esta versión supone tamaños iguales. Con asignación desigual, el error estándar debe calcularse con el n específico de cada grupo.