Esta calculadora estima cuántas observaciones necesita cada variante de una prueba A/B para detectar un cambio concreto en una tasa de conversión. Resulta útil al planificar experimentos de páginas, anuncios, correos o flujos de producto, porque permite comprobar si el tráfico disponible puede sostener una conclusión estadística razonable. La estimación usa una aproximación normal para comparar dos proporciones y supone grupos de tamaño similar; cuanto menor sea el efecto que quieres detectar, mayor será la muestra necesaria.
1. Introduce la conversión base
Usa la tasa actual de la métrica binaria que quieres mejorar.
2. Define el efecto mínimo
Indica el cambio relativo más pequeño que merecería la pena detectar.
3. Ajusta confianza y potencia
Valores más exigentes reducen el riesgo estadístico, pero elevan la muestra necesaria.
4. Revisa la muestra
Consulta la necesidad por variante y el total aproximado para dos grupos.
Donde p₁ es la conversión base, p₂ la conversión objetivo, p̄ su media, zα/2 el valor crítico del nivel de confianza bilateral y zβ el asociado a la potencia. La mejora mínima se interpreta de forma relativa: una base del 5 % y un MDE del 10 % implican un objetivo del 5,5 %.
El resultado indica el número aproximado de observaciones que debería acumular cada variante antes de evaluar el efecto previsto.
Es una estimación de planificación. La asignación desigual, las pruebas secuenciales, múltiples variantes o métricas no binarias requieren métodos específicos.
Datos: conversión base del 5 %, mejora mínima relativa del 10 %, confianza del 95 % y potencia del 80 %.
Cálculo: p₁ = 0,05; p₂ = 0,055; p̄ = 0,0525. Aplicando zα/2 ≈ 1,96 y zβ ≈ 0,842 a la fórmula de dos proporciones, la muestra queda en torno a 31.234 observaciones por variante.
Resultado: unas 62.468 observaciones entre control y variante. El experimento necesita bastante tráfico porque la diferencia absoluta buscada es solo de 0,5 puntos porcentuales.
En esta calculadora es relativa. Por ejemplo, mejorar un 10 % una conversión del 5 % lleva la tasa objetivo al 5,5 %, no al 15 %.
Porque distinguir una diferencia pequeña del ruido aleatorio exige más observaciones. La muestra crece aproximadamente con el inverso del cuadrado de la diferencia entre tasas.
La estimación mostrada está planteada para dos grupos de tamaño similar. Con varias variantes conviene ajustar el diseño y el control del error por comparaciones múltiples.
No directamente. La fórmula compara proporciones binarias, como compra/no compra o clic/no clic; las métricas continuas necesitan una estimación basada en su varianza.
Alcanzar la muestra planificada es una condición útil, pero también debes respetar el diseño temporal del experimento y evitar detenerlo solo porque un resultado intermedio parece favorable.