Test A/B: cómo comparar dos anuncios, empaques o páginas sin engañarte con los resultados

La versión B de tu anuncio gana por tres clics después de dos días, y el equipo ya quiere cambiarlo todo. Un test A/B sirve para decidir con datos entre dos versiones, pero un resultado leído con prisa puede ser puro azar.

Si eres marketer, responsable de ecommerce o emprendedor y quieres elegir con datos y no con gustos, aquí encuentras cómo pasar de la pregunta a la hipótesis, una plantilla de diseño y las reglas para leer resultados sin engañarte.

Toda prueba empieza con una pregunta de investigación comercial: «¿por qué los visitantes de mi página de producto no terminan la compra?» o «¿qué empaque se elige más en el estante?». La pregunta no se responde con una prueba; se convierte en una hipótesis que sí se puede comprobar. Esta forma de decidir con datos es el corazón de qué es el neuromarketing aplicado a un negocio.

Una hipótesis útil tiene tres partes: el cambio, el resultado esperado y el motivo. Por ejemplo: si el botón dice «Comprar ahora» en lugar de «Enviar», más visitantes completarán la compra, porque el texto nombra la acción.

Un test A/B, también llamado prueba A/B o A/B testing, compara dos versiones de una misma pieza: la versión A, o control, y la versión B, o variante. Las personas se asignan al azar a una de las dos y se mide la misma conducta durante el mismo periodo.

El control de variables en marketing consiste en cambiar una sola cosa entre A y B. Si la versión B cambia a la vez el titular, la imagen y el precio, un resultado distinto no revela cuál de los tres cambios lo causó. La prueba responde solo a la pregunta que se le hizo.

Comparar «esta semana contra la anterior» no es una prueba controlada, porque el calendario y las promociones cambian entre semanas. Las dos versiones corren al mismo tiempo, con visitantes comparables.

Las estrategias de neuromarketing, como reducir opciones o mostrar prueba social, se tratan aquí como hipótesis: el principio sugiere por qué algo podría funcionar y la prueba comprueba si funciona con tu público.

Una prueba sencilla sigue seis pasos.

1. Escribe la pregunta y el objetivo. Define la decisión que dependerá del resultado.
2. Redacta la hipótesis. Incluye el cambio, el resultado esperado y el motivo.
3. Elige la variable y la métrica. Una variable que cambia y una métrica principal.
4. Fija la muestra y la duración. Se deciden antes de empezar y no cambian durante la prueba.
5. Asigna al azar y ejecuta.
6. Lee y decide. Se aplica la regla de decisión escrita al principio.

El tamaño de muestra es el paso que más se omite. Evan Miller propone como regla práctica n = 16 σ²/δ², donde δ es el efecto mínimo que se quiere detectar y σ² la varianza esperada; en una conversión, σ² equivale a p(1 − p), con p como la tasa base (Evan Miller). Una calculadora de tamaño de muestra confirma la cifra.

En digital, las plataformas de anuncios y de analítica incluyen funciones de prueba; conviene revisar su documentación oficial antes de configurar el experimento, porque cambian con el tiempo. Google anunció en enero de 2023 que Google Optimize y Optimize 360 dejarían de estar disponibles después del 30 de septiembre de 2023 (Search Engine Land). La lección es de método: el diseño de la prueba pesa más que la herramienta, y una herramienta puede desaparecer.

En una página, la herramienta de prueba asigna al azar. En un anuncio, las dos versiones se publican a la vez con el mismo público y presupuesto.

En físico, el reto es la comparabilidad. Dos empaques en tiendas distintas confunden el efecto del empaque con el de la tienda. Una forma más limpia es una encuesta de elección en la que cada persona, asignada al azar, ve un solo empaque y responde cuál compraría.

Caso ficticio con cifras ilustrativas, creado para ilustrar el método. Tienda Brisa es una tienda en línea imaginaria de ropa deportiva. Su responsable plantea la hipótesis «si el costo de envío aparece en la página del producto, más visitantes completarán la compra». Fija una métrica, la proporción de compras, y una muestra de unas 6.000 visitas por versión, cifra ilustrativa. Reparte las visitas al azar durante tres semanas y no mira los resultados hasta completar la muestra.

Leer un resultado exige tres conceptos. El primero es el tamaño de la muestra: con pocas personas, la diferencia puede ser azar. El segundo es la significancia, que Miller explica en términos simples: pregunta con qué frecuencia se vería una diferencia como la observada solo por azar si A y B fueran iguales. El tercero es el tamaño del efecto: una diferencia puede ser clara y comercialmente irrelevante.

El error más común es detener la prueba cuando aparece el primer resultado significativo. Miller calcula que revisar los datos después de cada observación y parar al primer resultado significativo produce 26,1 % de falsos positivos, más de cinco veces el 5 % buscado, y que mirar diez veces convierte un 1 % reportado en un 5 % real (Evan Miller). La solución es fijar la muestra de antemano.

El efecto novedad también engaña. Kohavi y colaboradores (2012), de Microsoft, distinguen los efectos reales de novedad, que empiezan positivos y se apagan, de las tendencias iniciales que suelen ser un artefacto estadístico (KDD 2012). Completar la muestra y cubrir semanas completas reduce el riesgo de leer una racha como un patrón.

La prueba demuestra que una versión rindió más que otra en ese público y periodo, no por qué ni que vaya a repetirse en otro canal. La disciplina tiene un rol propio en el especialista en CRO, y para combinar la prueba con encuestas o entrevistas sirve la comparación de neuromarketing vs investigación de mercados.

La comparación entre dos versiones transforma una opinión en una decisión verificable cuando la hipótesis, la métrica y la muestra se escriben antes de empezar. Cambia una sola cosa, deja correr la prueba hasta completar la muestra y trata el resultado como evidencia de lo que pasó, no de la causa.