Calculadora de test A/B: Tu aliada esencial para CRO

Diccionario de términos

Versiones en un test A/B

La variación de dos tests incluye dos versiones de la misma página. La versión A es la versión que está live actualmente a la que llamaremos «versión de control» y la versión B es la página modificada, o aquella que quieres testar resultados para ver si alguna modificación impacta positivamente o negativamente en la conversión. A la versión B se le denomina «variación» o «variante B». El proceso de experimentación en un test A/B se produce cuando el usuario entra por primera vez al experimento y se le asigna aleatoriamente una versión (basado en las probabilidades asignadas, por defecto 50%-50%). Esta versión se mantendrá para dicho navegador mediante una cookie, de cara a que el usuario siempre vea la misma experiencia.

Tráfico

El tráfico representa el total de visitas o visitantes únicos que han aterrizado en la web a lo largo del tiempo de cada una de las versiones.

Conversiones

Conversión se refiere al objetivo que se quiere analizar si ha mejorado o no en el test. Por ejemplo, nos podemos referir como conversión hablando de leads de captación, compra, clicks en un CTA concreto…

Ratio de conversión (Conversion Rate)

El ratio de conversión es una de las principales métricas usadas en marketing digital. No sólo forma parte del mundo CRO sino que es extrapolable a todos y cada uno de los canales. El porcentaje de conversión se obtiene en base a la audiencia que entra en la web que estás analizando y se calcula de la siguiente manera:

Nivel de confianza estadística

El nivel de confianza estadística es una de las principales métricas a tener en cuenta cuando estás realizado tus experimentos. La referencia en este caso para poder dar por concluido un test es cuando el experimento ha alcanzado una confianza estadística de un 95% como mínimo. En términos generales, esto significa que si vuelves a repetir este experimento 100 veces, obtendrás el mismo ganador 95 veces de esas 100 veces totales.

Uplift

Nos referimos a uplift cuando ha habido un incremento relativo en el ratio de conversión o conversion rate entre la versión A y la versión B. Es posible tener un uplift negativo (drop) si nuestra variación (B) no ha sido más efectiva (a nivel de conversión) que nuestra la versión de control. El uplift se calcula de esta manera:

Cómo usar la calculadora de test a/b

1. Incluye el tráfico en cada una de las variaciones así como tus conversiones. Estos datos son los que te ofrezca la herramienta de testing / optimización en el momento en el que deseas hacer el análisis. Recuerda que las conversiones son el objetivo que pretendes demostrar si se ha mejorado o no y en qué grado.
2. Una vez hayas introducido la información en la calculadora tes, podrás ver en el módulo gris a la izquierda tanto el nivel de confianza estadística como el uplift a la derecha. Recuerda que el nivel de confianza estadística debe ser igual o mayor al 95% y en caso de que el uplift sea negativo, significa que tu variación no ha conseguido mayor éxito que la de control.

Cuándo usar esta calculadora en el proceso de CRO

Esta calculadora de test a/b sirve especialmente para evaluar el rendimiento del experimento una vez lanzado (post-test), y poder darlo por concluido. Recuerda que siempre recomendamos hacer un análisis previo (pre-test) para calcular: o bien cuánto va a durar tu experimento, o bien qué uplift mínimo será capaz de percibir en un tiempo que tú establezcas. Por supuesto, para ambos casos tendrás que indicar el volumen de tráfico que esperas y de qué ratio de conversión partes originalmente. Estas cifras, influirán directamente en la cantidad de días o uplift mínimo que se esperan para el experimento.

Cómo mejorar tus ratios

Cómo mejorar tu uplift

Es fundamental que llegues a la raíz del problema de experiencia que hace que tus usuarios no conviertan. No te quedes en cambiar solamente elementos «por probar». Te recomiendo que te centres en hacer los cambios necesarios para que la experiencia de forma global marque la diferencia.

Para marcar un lift notable (tanto positivo -uplift- como negativo -drop) debes hacer cambios que cambien la experiencia en sí. De poco vale que cambies el color de un CTA (por ejemplo un botón que llama a la acción, a la conversión) si detrás de ese cambio no hay un razonamiento fundamentado en un análisis profundo (web analytics, análisis de producto, UX, etc.)

Cómo mejorar la confianza estadística

Es posible que, tras usar la calculadora, veas que estás cerca de alcanzar el 95% de confianza estadística en la calculadora test a/b que marcamos como «límite». Como todavía no se ha alcanzado ese valor, no deberíamos (como norma general) declararlo como ganador, siguiendo el enfoque frecuentista que mantenemos a lo largo de este post. Sin embargo, es posible que haciendo una de las dos acciones que ves a continuación, consigas alcanzar dicha confianza:

1. Aumento del tiempo del test: deja unos días más el experimento para ver si consigue alcanzar dicho nivel de confianza estadística. Vuelve a introducir los datos del experimento en esta calculadora una vez hayan transcurrido esos días. Si aun así no alcanzas el nivel, quizás debas plantearte que los cambios que llevaste a cabo no son lo suficientemente notables para que sean percibidos, dada la muestra, con los datos de tráfico y conversión original con los que has realizado el experimento.
2. Aumento del tráfico al experimento: quizás necesites dirigir más tráfico al experimento y llevarlo a cabo de nuevo, o quizás testar en un paso anterior al que estás testando para que, con un mayor volumen de tráfico, puedas tener una mayor confianza estadística.