toolbox
Inicio / IA, datos y tecnología / A B Experiment Sample Size Estimator

A B Experiment Sample Size Estimator

Esta estimación calcula el tamaño de muestra necesario por variante para detectar una diferencia esperada entre dos tasas de conversión en un experimento A/B. Usa una aproximación normal para una prueba bilateral de dos proporciones y combina el nivel de confianza con la potencia estadística deseada.

Es útil antes de lanzar una prueba porque permite traducir un efecto mínimo relevante en un objetivo de tráfico. Un efecto más pequeño, una confianza mayor o una potencia mayor exige más observaciones. La cifra obtenida debe interpretarse como una planificación aproximada: diseños secuenciales, múltiples métricas o distribuciones distintas pueden requerir otro método.

Datos de entrada

%
p.p.
%
%
Resultado
—
observaciones por variante
Muestra total A+B—
Conversión alternativa—
Nivel de significación α—

1. Introduce la tasa base
Usa una conversión histórica representativa para la variante de control.

2. Define el efecto mínimo
Expresa la mejora mínima detectable en puntos porcentuales, no como crecimiento relativo.

3. Elige confianza y potencia
Valores más exigentes reducen el riesgo de error, pero aumentan la muestra necesaria.

4. Revisa la conversión alternativa
Comprueba que la tasa base más el efecto mínimo sigue dentro del intervalo 0–100 %.

5. Planifica el tráfico
Multiplica la muestra total por el tiempo necesario para alcanzar ese volumen según tu tráfico elegible.

p₂ = p₁ + Δ p̄ = (p₁ + p₂) / 2 n = [zα·√(2p̄(1−p̄)) + zβ·√(p₁(1−p₁)+p₂(1−p₂))]² / Δ²

zα = z(1 − α/2) para una prueba bilateral y zβ = z(potencia). n es la muestra aproximada por variante con asignación 1:1.

Qué significa el resultado

La cifra principal es el número mínimo aproximado de observaciones independientes que conviene reunir en cada variante.

La aproximación presupone observaciones independientes, una métrica binaria y un análisis fijo al final del experimento.

Datos:

  • Conversión base: 10 %
  • Mejora mínima: 2 puntos porcentuales
  • Confianza: 95 %
  • Potencia: 80 %

Cálculo:
p₁ = 0,10; p₂ = 0,12; p̄ = 0,11.
Con zα ≈ 1,96 y zβ ≈ 0,842, la fórmula produce n ≈ 3.840,85; al redondear hacia arriba, 3.841 por variante.

Resultado:
3.841 observaciones por variante; 7.682 en total.

Interpretación:
El test necesita del orden de varios miles de observaciones por grupo para detectar una subida absoluta de 2 puntos con esos criterios.

¿Qué significa “puntos porcentuales”?

Pasar de 10 % a 12 % son 2 puntos porcentuales, aunque el aumento relativo sea del 20 %. La calculadora usa la diferencia absoluta.

¿Puedo usar este cálculo para ingresos medios?

No directamente. Esta fórmula está pensada para una métrica binaria como conversión/no conversión; una media continua requiere otro modelo.

¿Qué ocurre si quiero una prueba unilateral?

La muestra suele cambiar porque el valor crítico es distinto. Esta página utiliza una prueba bilateral para detectar diferencias en cualquier dirección.

¿Debo detener el experimento al alcanzar esta muestra?

La muestra sirve para un diseño fijo. Mirar repetidamente y detenerse por significación puede alterar las tasas de error si no se usa un método secuencial.

¿Por qué aumenta tanto la muestra cuando el efecto mínimo es pequeño?

Porque distinguir cambios pequeños del ruido requiere más información; la muestra crece aproximadamente con el inverso del cuadrado de la diferencia objetivo.