Pero no sólo eso, el test A/B no cubre todos los objetivos de calidad, experiencia del usuario, imagen de marca y otras muchas cosas también muy importantes en una web, por lo que no debemos dejar de lado otros métodos de evaluación de una web.
En este artículo vamos a comentar los beneficios y limitaciones del test A/B.
Los beneficios
El test A/B, tiene muchos beneficios, pero estos son los principales:
- Mide el comportamiento del usuario en un entorno real y actual. Si una variante funciona mejor y estadísticamente los resultados son significativos, rápidamente puedes elegir y publicar definitivamente una opción ganadora que mejorará tus resultados.
- Al ser un test que normalmente utiliza pocas variantes (lo más típico son dos, pero pueden ser más) los resultados se pueden sacar en menos tiempo y puede identificar variaciones de mejora muy pequeñas que son estadísticamente significativas.
- Es un estudio barato, frente a otro tipos de estudios. Este test puede llevar horas de trabajo pero no necesitas mucho más, porque puedes usar Analytics y su función de experimentos o poner eventos en todas las opciones del test. Para ver la significación, puedes utilizar herramientas como nuestra hoja de cálculo.
- Y finalmente y lo más importante, mejorará tu ROI, pero lo hará mucho más si se mezcla con otro tipo de estudios e investigaciones.
Las limitaciones del test A/B
- No todos los proyectos tienen un objetivo fácil de medir y evaluar estadísticamente. Nuestro objetivo debe ser medible a través de la web y mediante sistemas informáticos: ventas, leads generados, suscriptores, aperturas de un emails, clics sobre un CTA, etc. Pero un site o estrategia digital, muchas veces tienen muchos más objetivos que los claramente medibles de esta forma, o incluso no todos los factores que influyen en algo medible son evaluables en un test A/B.
- Mientras en otras investigaciones vale con una maqueta preliminar, para realizar un test AB tienes que hacerlo en “real” y eso supone a veces desarrollos complejos que pueden llevar incluso más tiempo que otro tipo de test. Un test de diseño, por ejemplo, se puede hacer directamente sobre pantalla o papel, sin llegar a nivel de desarrollo; ya sobre dudas finales, se puede implementar un test A/B: así podemos racionalizar y economizar nuestra actividad de test.
- El test AB tiene un riesgo, a veces nos fijamos en cuestiones muy técnicas que mejoran unos números a corto plazo, pero no vemos más allá las implicaciones que tiene el haber mejorado en algo ahora, pero igual empeorado en algo a largo plazo. Por ejemplo, poner CTAs por toda la web puede dar como resultado una generación de una gran cantidad de leads, pero puede que gran parte de ellos estuvieran más interesados en llamar o rellenar un formulario y al ver todos los banners hayan perdido la visión de lo que realmente es nuestro foco.
- No tenemos toda la información del comportamiento, ya que los test A/B ofrecen muchos datos, pero nunca la información sobre lo que piensan los usuarios. Esto obliga muchas veces a seguir haciendo test sobre la opción ganadora hasta sacar conclusiones algo más precisas. Así que el test A/B muchas veces se centra en los detalles, pero se le escapan cosas menos medibles pero sumamente importantes a nivel cualitativo.
Una cosa es segura: esos aspectos que se escapan del test A/B muchas veces determinan cambios mucho más sustanciales en el largo plazo de la estrategia y con mayor margen de mejora en tu ROI.
Combinando metodologías
Como conclusión, una estrategia de test A/B no puede ser la única opción de investigación y aprendizaje que utilicemos. La mezcla de estudios cualitativos y cuantitativos es la mejor opción con mucho más recorrido de mejora a largo plazo. No debemos olvidar muchos más estudios que enriquecerán nuestra estrategia: focus group, análisis semánticos, observaciones de navegación, estudios de credibilidad web, encuestas online y un largo etcétera.
Después de todo, no se generar una “regla de oro” para siempre. El usuario cambia cada vez más rápido, y esa suma de cambios individuales provoca que la sociedad acelere sus cambios de comportamiento como nunca antes se ha visto.
¡No seamos “vagos” en investigar, y retomemos investigaciones constantemente!
Si te ha gustado este artículo, también podrían interesarte:
¿Cuáles son las bases de un Test A/B?
Errores básicos y habituales con test A/B
