Actualmente vemos mencionar con mucha frecuencia el tema de los test A/B, aunque luego no vemos un uso metódico de esta herramienta para la constante mejora de estrategias online.
Muchas veces se ve cómo se cometen errores típicos una y otra vez. Al fin y al cabo, somos humanos y uno de nuestros hechos diferenciales es tropezarnos varias veces con la misma piedra. Así que vamos a comentar aquí unas cuantas “piedras” o errores básicos y habituales con test A/B:
Piedra 1: Asumir conclusiones de otros test
Hay consejos que podemos encontrar en tests realizados por otros que pueden darse por obvios. Sin embargo, en test reales se desmontan muchas de las reglas de oro. Por ejemplo: "un botón rojo rinde más que colores más neutros" es algo que no necesariamente es cierto en todos los casos. Por eso, nunca te quedes tan solo en analizar CTR. Si puedes, calcula el CPL o CPA, porque muchas veces un clic no significa que el usuario rellene el formulario o compre algo. Revisa tus métricas en conjunto.
Piedra 2: Fiarse al 100% de la significación estadística
Somos firmes defensores de utilizar calculadoras de significación estadística como la que hemos realizado nosotros. Aún así, no siempre hay que considerarlas cien por cien fiables. Hay que tener un par de precauciones para corrobar que el resultado de la calculadora es acertado.
A veces hay falsos positivos muy al comienzo del test: pueden entrar de repente 4 conversiones en A y cero conversiones en B, con lo cual no podemos dar por válido el test, pues las conversiones son demasiado pocas. A veces se ponen cifras como un mínimo de 75 conversiones por variante, pero cuanto más puedas acumular mejor. Aqui puedes ver que los test AB no son válidos para variantes que tengan muy pocas conversiones.
Factor tiempo. Este es un factor difícil a veces de aislar: por ejemplo, los aspectos estacionales condicionan mucho los test, En ciertos productos que se suele comprar en periodos concretos, la tasa de conversión variará mucho de épocas frías a épocas calientes variando los resultados del test. Pero como regla básica, se recomienda que al menos completen ciclos semanales y un mínimo de dos. ¡Y si es más, mucho mejor!
Piedra 3: Dirigir tráfico adecuado a la landing
Todas las variables deben ser aisladas al máximo, si queremos analizar una landing para tráfico sem pero que por ejemplo es visible también para buscadores, podemos estar mezclando tráficos de diferente cualificación y si además ponemos la landing en un email ya que la tenemos hecha, montas un lío de los buenos, añades a la variable testada otra más, el tipo de tráfico y las conclusiones no son en absoluto válidas, cuidado con esto, es un error muy típico. Si mandas de forma diferente el tráfico a una de las variantes, el test es nulo totalmente, si lo mandas aleatoriamente a ambas, podrías intentar aislar el problema por tráfico, porque no sabrías si no, si la opción ganadora lo es para los 3 tráficos.
Piedra 4: Esperar grandes mejoras de pequeños cambios
Si al hacer pequeños cambios tienes grandes ganancias en resultados, piensa que algo pueda estar fallando en tus diseño o copys. A veces hay excepciones, pero suele ser así, aunque por pequeño no es tamaño, cambiar un botón de un formulario por opciones drásticamente opuestas no es un cambio pequeño.
La cuestión es que normalmente, las grandes ganancias vienen de cambios importantes. Sobre todo es muy importante hacerlo al principio de las optimizaciones, hacer cambios drásticos y polarizados, y luego centrarse en mejoras de detalles sobre la ganadora. Por ejemplo, en una landing que busca leads, podrían ser 3 alternativas, una con diseño agresivo, una tradicional y una simplificada al máximo podrían ser opciones.
Una vez encontrada la ganadora, sobre ella se hacen cambios, titulares, posición de form, campos, botones, etc.
Piedra 5: Lo primero que debemos hacer es un Test A/A
Absurdo verdad?, muchas veces los test se pueden estar realizando incorrectamente, pero algo puede fallar en la aleatoriedad o en la recogida de datos, mejor estar seguros y para eso, basta con poner como piezas dos versiones iguales de nuestra página actual, los resultados en un tiempo deberían ser iguales, si no lo son, algo falla en el sistema.
Piedra 6: Hacer test constantemente
Cuando se descubre cómo realizar test A/B a veces hay un comportamiento obsesivo por realizar test, por sacar conclusiones y a veces genera una locura de cambios en la web que pueden generar conclusiones precipitadas ya demás, cuando lo que estás testando empeora los resultados de tu actual versión, lo que provocarás es bajar los ratios de conversión durante ese periodo, por eso, sí hay que programar constantes test a/b, pero no de una forma precipitada.
Piedra 7: Cuanto más variables mejor
No hay muchos amigos del test multi-variable, a veces parecería la panacea, pero en muchos casos aplicando las versiones de las variables ganadoras, rara vez aportan lo que los resultados parecía que iban a aportar, aislar la acción combinada que generan los cambios muchas veces es difícil de aislar.
Si cambias muchas variables y aspectos a la vez, sin testar todas, no podrás aislar las que mejoran y las que empeoran, por eso es recomendable siempre hacer cada cambio uno a uno.
Si coges una landing, y de un día para otro cambias, vídeo, título y formulario, y ves que las cifras caen, tendrás que volver atrás e ir cambiando una variable cada vez para identificar cuál ha tenido una influencia positiva y cuál lo ha sido de forma negativa.
Piedra 8: Testar micro conversiones
Esto ya lo hemos comentado con anterioridad, pero a veces vemos muchos esfuerzos de test en buscar el máximo clic through por ejemplo, esto a veces es un primer paso para conseguir una mayor tasa de conversión a lead o adquisición, pero no siempre es así, donde nos debemos centrar es en esta parte de las conversiones, pero sin dejar de lado que a veces para llegar a estas macroconversiones, podemos necesitar mejorar las micro-conversiones, pero no siempre es así, por lo que es importante no perder el verdadero foco de la rentabilidad.
Piedra 9: Lanzar un nuevo diseño (sin necesitarlo)
Algo que nos encontramos mucho las agencias, “nos hemos cansado del diseño, vamos a hacer al más moderno”, se hace un nuevo diseño y de repente los resultados no funcionan. A veces, hay muchas webs que aunque nos cansemos de ellas (es más normal que nosotros nos cansemos si es nuestra y la vemos todos los días, que un cliente que entra ocasionalmente), son buenas convirtiendo, si es así, cambiemos con pies de plomo, no por ser un diseño obsoleto a nuestros ojos, lo es a nuestros clientes y no por modernizarlo vamos a convertir mejor, a veces incluso a peor.
Conclusión
Fallos cometemos todos a la hora de hacer cambios, pero lo que no es perdonable es que eso no lo tengas controlado y lo puedas analizar e incluso retrotraer para que las conversiones no se vean perjudicadas.
Los test son una fuente inagotable de aprendizaje y de acumulación del saber de cómo maximizar el ROI en tu estrategia digital, pero también puede ser un buen quebradero de cabeza si no los realizas correctamente y de una forma sistemática.
Si te ha gustado este artículo, también podrían interesarte:
¿Cuáles son las bases de un Test A/B?
