Blog CRO

Test A/B: Los 5 errores más comunes

Test A/B: Testear, testear, testear. Un mantra que en el mundo del marketing nos encontramos en cada esquina. Inclusive podemos decir que grandes compañías deben gran parte de su éxito al incluir este mantra en su cultura.

Sólo con leer esta frase de, nada más y nada menos, Jeff Bezos nos da una idea de lo importante de experimentar:

“Nuestro éxito en Amazon es una función de cuántos experimentos hacemos al año, al mes, a la semana, al día … » 

Y como han de saber, no solo Amazon realiza miles de experimentos al año. Estas otras compañías, que seguro conoces, también siguen la misma línea:

  • Google: 600.000 experimentos en 2020
  • Netflix: en su propio blog la empresa establece que cada cambio que se considera hacer al producto pasar por un riguroso proceso de test A/B
  • Según Mark Zuckenberg, en Facebook se pueden estar realizando unos 10.000 experimentos en cualquier momento

Ahora, otro punto a considerar es la mentalidad/cultura de experimentación de estas compañías y la que tienes que considerar si queréis adentrarte en este mundo.

El proceso de experimentación no se trata en realizar un solo test, y si no resultó en la mejora que esperábais, concluir que esto no funciona. 

Se trata de ir realizando la mayor cantidad de experimentos posibles en búsqueda de obtener pequeñas victorias que permitan el crecimiento sostenible de la empresa.

Ahora bien, conozcamos los 5 errores más comunes al realizar Test A/B

1. No realizar suficientes test

Como leíste al principio del post, una de las metas de empresas como Amazon y Google es realizar la mayor cantidad de experimentos posibles. Lo que en el caso de estas compañías significa miles de pruebas al mes.

Con esto no queremos decir que tenéis, de ahora en adelante, que realizar un mínimo de mil test al mes. Pero sí a apuntar a llevar a cabo la mayor cantidad posible que tu presupuesto y capacidad te permita.

Adicional a la cantidad, otro punto a evaluar es la calidad. Es importante concentrarse en experimentos que tengan la mayor posibilidad de tener un mayor impacto. Para ello, lo mejor que podéis hacer es clasificar tus hipótesis en base a dos grandes criterios:

  • Número de personas que impactaría la prueba.
  • Facilidad de implementación.

 Con esta información en mano, podéis observar fácilmente cuál test realizar primero. 

2. No tener una hipótesis clara

Al momento de realizar un test, siempre debemos preguntarnos qué vamos hacer exactamente y qué resultado esperamos, esto basado en la investigación que hicimos previamente.

Es por ello que, si bien el punto de partida del proceso de experimentación, son las ideas, es importante que estas las conviertas en hipótesis. De esta manera será más fácil determinar el resultado de la prueba y extraer aprendizajes claves.

A continuación te dejo una fórmula para elaborar una hipótesis:

Si yo (completar con lo que se va a hacer) espero que ocurra (qué mejora espero) medido por (herramienta de medición a utilizar)

Un ejemplo podría ser:

Si yo envío directamente a la persona a la página /cart, una vez que haya añadido un artículo al carrito, espero que ocurra un aumento en la tasa de conversión de un 0,25% medido por el reporte de ventas de Shopify

3. Duración

Para obtener datos concluyentes, que tengan mayor probabilidad de repetirse en el tiempo, uno de los elementos importantes a tener a consideración es la duración del test.

Para ello recomendamos :

  1. Testear por ciclo de ventas: de 3 a 4 semanas
  2. Realizar las pruebas por semanas completas. Si el test lo comenzaste un lunes, debería finalizar el domingo. Así podéis detectar alguna variación en un determinado día de la semana
  3. Tener en consideración los elementos de temporalidad de tu negocio.
  4. Obtener, tomando en cuenta los puntos anteriores y el siguiente, un 95% de significancia estadística 

4. Volumen de la muestra

Imaginemos que realizamos un test A/B y obtenemos los siguientes resultados:

  • Control: Número de visitantes 1.000. Número de conversiones 50
  • Variación 1: Número de visitantes 1.000. Número de conversiones 70

Con estos números podemos decir que tenemos una significancia estadística mayor al 95%. Sin embargo, ¿podemos asegurar que si implementamos la variación 1 obtendremos los mismos resultados? Es muy probable que no.

Es aquí donde entra en juego el volumen de la muestra para dar confiabilidad al experimento. Adicional a la duración debemos apuntar a obtener un número de conversiones mayor a 300 en cada variación.

Por ello la importancia que comentamos en el punto 1 de clasificar nuestras hipótesis. Al hacerlo veréis, de los distintos test que podéis realizar, cuál tiene una muestra lo suficientemente significativa que te permita obtener una mayor confiabilidad en tu test A/B. 

5. Refinamientos

Por último, qué proceso tenemos implementado una vez finalizada la prueba. Simplemente decir que una variación fue la ganadora, no es suficiente.

Debemos, al final de un test A/B, considerar los siguientes puntos:

  • Documentar el experimento. Así otras personas de la empresa pueden acceder a la información del mismo.
  • Definir cuáles fueron los principales aprendizajes.
  • Qué cambios harías para hacer mejores pruebas y más rápido.
  • Con los datos que ahora conoces, que otros test realizaréis.

Ahora que ya conocéis 5 errores que debéis evitar al realizar un test A/B, comentanos ¿hay algún otro que creáis que hay que añadir a la lista?

Compartir en: