Test A/B: Testear, testear, testear. Un mantra que en el mundo del marketing nos encontramos en cada esquina. Inclusive podemos decir que grandes compañías deben gran parte de su éxito al incluir este mantra en su cultura.
Sólo con leer esta frase de, nada más y nada menos, Jeff Bezos nos da una idea de lo importante de experimentar:
“Nuestro éxito en Amazon es una función de cuántos experimentos hacemos al año, al mes, a la semana, al día … »
Y como han de saber, no solo Amazon realiza miles de experimentos al año. Estas otras compañías, que seguro conoces, también siguen la misma línea:
Ahora, otro punto a considerar es la mentalidad/cultura de experimentación de estas compañías y la que tienes que considerar si queréis adentrarte en este mundo.
El proceso de experimentación no se trata en realizar un solo test, y si no resultó en la mejora que esperábais, concluir que esto no funciona.
Se trata de ir realizando la mayor cantidad de experimentos posibles en búsqueda de obtener pequeñas victorias que permitan el crecimiento sostenible de la empresa.
Ahora bien, conozcamos los 5 errores más comunes al realizar Test A/B
Como leíste al principio del post, una de las metas de empresas como Amazon y Google es realizar la mayor cantidad de experimentos posibles. Lo que en el caso de estas compañías significa miles de pruebas al mes.
Con esto no queremos decir que tenéis, de ahora en adelante, que realizar un mínimo de mil test al mes. Pero sí a apuntar a llevar a cabo la mayor cantidad posible que tu presupuesto y capacidad te permita.
Adicional a la cantidad, otro punto a evaluar es la calidad. Es importante concentrarse en experimentos que tengan la mayor posibilidad de tener un mayor impacto. Para ello, lo mejor que podéis hacer es clasificar tus hipótesis en base a dos grandes criterios:
Con esta información en mano, podéis observar fácilmente cuál test realizar primero.
Al momento de realizar un test, siempre debemos preguntarnos qué vamos hacer exactamente y qué resultado esperamos, esto basado en la investigación que hicimos previamente.
Es por ello que, si bien el punto de partida del proceso de experimentación, son las ideas, es importante que estas las conviertas en hipótesis. De esta manera será más fácil determinar el resultado de la prueba y extraer aprendizajes claves.
A continuación te dejo una fórmula para elaborar una hipótesis:
Si yo (completar con lo que se va a hacer) espero que ocurra (qué mejora espero) medido por (herramienta de medición a utilizar)
Un ejemplo podría ser:
Si yo envío directamente a la persona a la página /cart, una vez que haya añadido un artículo al carrito, espero que ocurra un aumento en la tasa de conversión de un 0,25% medido por el reporte de ventas de Shopify
Para obtener datos concluyentes, que tengan mayor probabilidad de repetirse en el tiempo, uno de los elementos importantes a tener a consideración es la duración del test.
Para ello recomendamos :
Imaginemos que realizamos un test A/B y obtenemos los siguientes resultados:
Con estos números podemos decir que tenemos una significancia estadística mayor al 95%. Sin embargo, ¿podemos asegurar que si implementamos la variación 1 obtendremos los mismos resultados? Es muy probable que no.
Es aquí donde entra en juego el volumen de la muestra para dar confiabilidad al experimento. Adicional a la duración debemos apuntar a obtener un número de conversiones mayor a 300 en cada variación.
Por ello la importancia que comentamos en el punto 1 de clasificar nuestras hipótesis. Al hacerlo veréis, de los distintos test que podéis realizar, cuál tiene una muestra lo suficientemente significativa que te permita obtener una mayor confiabilidad en tu test A/B.
Por último, qué proceso tenemos implementado una vez finalizada la prueba. Simplemente decir que una variación fue la ganadora, no es suficiente.
Debemos, al final de un test A/B, considerar los siguientes puntos:
Ahora que ya conocéis 5 errores que debéis evitar al realizar un test A/B, comentanos ¿hay algún otro que creáis que hay que añadir a la lista?