Un test A/B no se gana por ver p < 0,05 en el panel. Yo lo leería así: si cortás antes de tiempo, mirás muchas métricas o usás poca muestra, podés elegir una variante por azar y perder plata.
En simple, este tema se resume en 5 errores:
Yo me quedaría con esta regla: antes de decidir, revisaría hipótesis, métrica primaria, muestra planificada, intervalo de confianza y tamaño del efecto. Si además el cambio no mueve conversión, ticket o ingresos, no alcanza con que “dé bien”.
Abajo dejo una versión corta y ordenada para leer los resultados con menos error.
5 Errores Comunes en A/B Testing y Cómo Evitarlos
A esto se lo llama peeking: mirar los resultados antes de tiempo. Si frenás el test apenas ves p < 0,05, rompés una regla básica del experimento: definir la muestra antes de arrancar.
Los p-valores suben y bajan durante todo el test. En un experimento sin efecto real, si lo dejás correr sin límite, en algún momento puede cruzar el umbral de significancia por simple azar. Las simulaciones muestran justo eso: frenar un test apenas llega a significancia puede inflar la tasa de falsos positivos del 5 % esperado al 22,68 %. Y si mirás los datos 20 veces mientras el experimento sigue activo, ese riesgo puede trepar hasta el 40 %.
La salida es bastante simple en teoría, aunque exige orden. Antes de lanzar el test, calculá el tamaño de muestra que necesitás. Herramientas como la calculadora de te ayudan a definir el Efecto Mínimo Detectable (MDE) y la muestra necesaria por variante. Si sí o sí necesitás seguimiento en tiempo real, conviene usar tests secuenciales como o , que corrigen el riesgo cada vez que volvés a mirar los resultados.
En otras palabras: el problema no es mirar el tablero. El problema es tomar una decisión antes de que el experimento tenga base suficiente. Y aun cuando aparece una señal significativa, eso no alcanza si no cambia nada en el negocio.
Con mucho tráfico, una mejora mínima puede salir significativa aunque no cambie la conversión, el ticket promedio ni los ingresos. Por eso no alcanza con ver el p-valor.
Lo que conviene mirar es el intervalo de confianza. Si ese rango incluye lifts tan chicos que no mueven la aguja del negocio, el resultado no justifica la decisión. Dicho simple: puede haber “señal” estadística, pero no una mejora que valga la pena.
El cuadro se complica todavía más cuando empezás a mirar muchas variantes al mismo tiempo.
Este error aparece cuando el análisis se desborda. Si calculás 100 métricas irrelevantes, más o menos 5 van a parecer significativas por pura suerte.
Cuantas más variantes, segmentos, campañas o métricas metas en el análisis, más fácil es encontrar falsos positivos por azar. Para bajar ese riesgo:
Cualquier hallazgo no predefinido debe tratarse como hipótesis, no como confirmación.
Además de los falsos positivos, una muestra chica también puede generar falsos negativos. Dicho simple: el test puede pasar por alto una mejora que sí existe.
Cuando la muestra es chica, el test pierde estabilidad. Y ahí se vuelve mucho más difícil separar una señal real del ruido.
El poder estadístico es la probabilidad de detectar un efecto real cuando ese efecto existe. La convención estándar es trabajar con un poder del 80 %. En la práctica, eso implica aceptar un 20 % de probabilidad de falso negativo. Un test con bajo poder estadístico es aquel en el que la muestra recolectada no alcanza para detectar el Efecto Mínimo Detectable (MDE) con el nivel de poder elegido.
Acá el problema no es matemático. Es de decisión. Una muestra insuficiente no invalida el test, pero sí lo deja sin fuerza para responder lo que querías saber. Como referencia, en tests de conversión suelen necesitarse al menos 100 conversiones por variante para detectar diferencias del orden del 10 al 15 %. Si el tráfico no alcanza el MDE, el test no tiene sensibilidad suficiente para decidir.
Ver p > 0,05 no prueba que la variante no funcione. Solo indica que los datos observados no son lo bastante inusuales como para rechazar la hipótesis nula.
La forma más clara de leer este tipo de resultado es mirar el intervalo de confianza. Si es muy amplio y cruza el cero, el test no tuvo la sensibilidad necesaria para dar una respuesta firme. Sin potencia suficiente, no hay base para descartar cambios.
Por eso, un p-valor alto tampoco alcanza para descartar una variante.
La lectura correcta sale de mirar juntas tres cosas: significancia, amplitud del intervalo y tamaño de muestra.
| Resultado | Significado estadístico | Interpretación correcta |
|---|---|---|
| Ganador significativo | p < 0,05; IC no incluye cero | Evidencia de mejora. Implementar. |
| Perdedor significativo | p < 0,05; IC por debajo de cero | Evidencia de daño. Descartar. |
| Inconcluso | p > 0,05; IC amplio que cruza cero | Test con bajo poder o efecto menor al MDE. Repetir con más tráfico o un cambio más grande. |
| Sin diferencia detectable | p > 0,05; IC angosto cerca de cero | No hay evidencia de una diferencia relevante; decidir por prioridades del negocio. |
Si la muestra no llegó al tamaño planificado, el resultado es inconcluso, no negativo.
Con esa base, el siguiente paso es cruzar la evidencia estadística con el impacto de negocio.
Antes de mirar los resultados, fijá una regla de decisión. Si el test ya mostró una señal, eso no alcanza para declarar un ganador. Primero tiene que pasar un filtro simple y parejo para todos los casos.
Antes de implementar cualquier variante, chequeá estos puntos en orden:
Si pasa esa validación estadística, recién ahí tiene sentido mirar si el cambio sirve para el negocio.
Un resultado estadísticamente significativo no siempre implica una buena decisión de negocio. Significancia no es lo mismo que rentabilidad.
Por ejemplo, un lift del 0,1 % puede dar significativo y, aun así, no cubrir el costo de implementación. Ahí está el punto fino: la decisión final mezcla significancia, tamaño del efecto, amplitud del IC, costo de implementación e impacto posible en margen o experiencia del cliente.
Dicho simple: no alcanza con que “dé bien” en el test. También tiene que mover algo que importe. Y cuanto mayor sea el riesgo o más difícil sea volver atrás, más evidencia conviene pedir. Si el riesgo es bajo, la decisión puede ir más rápido.
La misma disciplina vale cuando los tests corren en automático. La automatización acelera, sí, pero también multiplica errores si nadie pone un control en el medio. Una mala lectura estadística escala mucho más rápido cuando falta revisión humana.
En Burbuxa, este criterio se usa en flujos de WhatsApp e Instagram para recupero de carrito, recordatorios de recompra y campañas. Cada variante validada tiene que poder auditarse, con trazabilidad y aprobación humana antes de escalarla. Si no podés auditar el resultado, no lo escales.
Después de ver los errores más comunes, la regla práctica queda bastante clara: la gente suele cortar el test antes de tiempo, confundir significancia con impacto y tomar como certeza algo que todavía no tiene muestra ni poder suficiente.
El problema no está en el panel. Está en leer los datos sin un criterio definido de antemano. Revisar los resultados varias veces mientras el test sigue corriendo sube el riesgo de falso positivo. Y hay otro punto que suele pasarse por alto: la significancia estadística no es lo mismo que la relevancia para el negocio. Un efecto chico, aunque “dé significativo”, no siempre justifica implementar el cambio.
Por eso, una buena lectura no sale de la intuición del momento. Sale de haber fijado reglas antes de lanzar el experimento. La lectura confiable arranca antes del test: definí la muestra, el MDE y la potencia, y tomá la decisión solo cuando llegues al corte predefinido.
Dicho en simple, el estándar mínimo es este:
El MDE (Efecto Mínimo Detectable) es la diferencia más chica en una métrica, como la tasa de conversión, que querés detectar para que el cambio tenga sentido para tu negocio.
Definilo antes de lanzar el test con una pregunta simple: ¿qué mejora haría que este cambio valga la pena para mi marca?
Hay un punto clave acá. Cuanto más chico sea el MDE, más muestra vas a necesitar. En cambio, si el MDE es más grande, detectarlo suele ser bastante más fácil.
Un test es inconcluso cuando los resultados no alcanzan para sacar conclusiones confiables por fallas de diseño o de ejecución.
Suele pasar cuando la muestra es chica o cuando el test se frena antes de llegar al tamaño muestral definido. En esos casos, la significancia estadística puede quedar en duda o directamente perder validez.
En Burbuxa, recomendamos definir la muestra y la duración desde el arranque.
Para saber si un lift vale la pena, separá dos cosas: la significancia estadística y la significancia práctica.
La primera te dice que el resultado probablemente no se explica por azar. La segunda va al grano: si ese cambio alcanza para pagar los costos de implementación y mantenimiento.
Acá está el punto fino. Un aumento chico puede salir como “estadísticamente significativo” cuando tenés muestras grandes. Pero eso no quiere decir, por sí solo, que mueva la aguja de tu negocio.
Por eso conviene mirar también el intervalo de confianza. Te muestra el rango de impacto posible y te da una idea más completa del resultado, en vez de quedarte solo con el p-value.
