toolbox
Inicio / IA, datos y tecnología / A B Experiment Confidence Interval Calculator

A B Experiment Confidence Interval Calculator

Esta calculadora construye un intervalo de confianza aproximado para la diferencia entre las tasas de conversión de dos variantes de un experimento A/B. A partir de visitantes y conversiones en cada grupo, calcula las tasas observadas, la diferencia absoluta y el margen de error mediante una aproximación normal.

El intervalo ayuda a evaluar tanto la dirección como la precisión del efecto: no se limita a indicar si existe significación, sino que muestra qué magnitudes son compatibles con los datos bajo el modelo. Resulta útil para decidir si una mejora aparente es también relevante en términos prácticos.

Datos de entrada

%
Resultado
—
diferencia A/B en puntos porcentuales
Tasas A / B—
Límite inferior—
Límite superior—

1. Introduce el tamaño de cada grupo
Añade el número de observaciones elegibles asignadas a control y tratamiento.

2. Añade las conversiones
Las conversiones no pueden superar el número de observaciones del grupo correspondiente.

3. Elige el nivel de confianza
Un nivel mayor genera un intervalo más amplio, a igualdad de datos.

4. Revisa la diferencia
La cifra principal muestra tratamiento menos control en puntos porcentuales.

5. Interpreta el intervalo
Comprueba si incluye 0 y, sobre todo, si sus límites abarcan efectos que serían relevantes para tu decisión.

pA = xA / nA; pB = xB / nB D = pB − pA SE = √[pA(1−pA)/nA + pB(1−pB)/nB] IC = D ± z·SE

z corresponde al nivel de confianza bilateral seleccionado. Es un intervalo de Wald aproximado para la diferencia de dos proporciones.

Qué significa el resultado

La diferencia central resume el efecto observado; los límites muestran el rango de incertidumbre aproximado alrededor de esa estimación.

Con muestras pequeñas o tasas cercanas a 0 % o 100 %, otros intervalos pueden comportarse mejor que la aproximación de Wald.

Datos:

  • A: 500 conversiones de 5.000 visitantes
  • B: 600 conversiones de 5.000 visitantes
  • Confianza: 95 %

Cálculo:
pA = 10 %; pB = 12 %; D = 2 p.p.
SE ≈ 0,00628; margen ≈ 1,96 × 0,00628 = 0,0123.

Resultado:
Diferencia = 2,00 p.p.; IC 95 % ≈ [0,77; 3,23] p.p.

Interpretación:
El intervalo queda por encima de 0, lo que es coherente con una mejora positiva bajo esta aproximación.

¿Qué significa que el intervalo incluya 0?

Indica que una diferencia nula es compatible con el rango de incertidumbre al nivel elegido. No demuestra que ambas variantes sean idénticas.

¿Por qué el intervalo puede ser ancho?

Principalmente por muestras pequeñas o tasas con mayor variabilidad. Más observaciones suelen estrecharlo.

¿La diferencia se expresa en porcentaje o en puntos porcentuales?

La cifra central se expresa en puntos porcentuales. Por ejemplo, 10 % frente a 12 % equivale a +2 p.p.

¿Puedo introducir tamaños distintos para A y B?

Sí. El error estándar usa el tamaño de cada grupo por separado.

¿Este intervalo corrige por múltiples métricas o variantes?

No. Si seleccionas resultados entre muchas comparaciones, necesitas un procedimiento que controle la multiplicidad según tu diseño.