¿De dónde viene el tráfico de pruebas divididas A / B? ¿Es un bot o tráfico real?

Las pruebas de división A / B a menudo se realizan en producción. Por lo general, tiene un enrutador que lo hace, aunque hay otras formas.

Como tal, su división A / B proviene de su base de usuarios.


Depende de lo que intente probar si es aconsejable la división A / B. Recientemente, la división A / B se ha convertido en algo más del pasado, ya que hay mejores formas de probarlo. Aunque algunos lugares todavía lo usan para la prueba de experiencia del usuario.

Hay muchas estrategias diferentes de pruebas de integración y regresión disponibles para reducir o eliminar la necesidad de pruebas A / B.


Problemas con las pruebas A / B:

Los elementos ambientales pueden afectar los resultados. Por ejemplo, un servidor está teniendo algo que hacer, desde una prioridad más baja en un entorno virtual hasta un conmutador que tiene problemas o algo que se ejecuta en él que no debería estar o no en el otro servidor.

Inconsistencias:

Si está haciendo A / B en producción, un usuario podría tener una experiencia, volver a tener otra, e incluso puede quejarse sin posibilidad de seguimiento.


Hay algunas formas alternativas de dividir las pruebas A / B además de un enrutador, como por usuario [grupo] (los usuarios Alpha obtienen las nuevas cosas). Siempre hay usuarios dispuestos a probar lo último y lo mejor, y lo mejor es que se inscribieron, por lo que tienden a quejarse menos. Esto significa que el enrutamiento debe realizarse en software o haciendo que accedan a un sitio “alfa”. Hacer que la gente vaya a un sitio diferente no es difícil de hacer, “smile.amazon.com” frente a “www.amazon.com” hace que las personas que quieren ser flojas pero caritativas sin gastar dinero.


Consejo:

Sugeriría identificar lo que desea probar en lugar del tipo de prueba que desea ejecutar. ¿Cuál es el objetivo de la prueba en otras palabras?

Es muy posible que nosotros (la comunidad en línea) podamos sugerir una mejor manera de probarlo con el menor riesgo y costo.

Las pruebas A / B consisten en tráfico real que realmente visita su sitio web.

Los usuarios siguen visitando el sitio web normalmente, pero en lugar de ver lo mismo, el 50% recibirá una cookie de “Control” y verá su sitio normal, y el 50% recibirá una cookie de “Variación A”. Cuando a alguien se le asigna una cookie de Variación A, una pieza de JavaScript manipulará el contenido para cambiar la página a lo que está intentando probar.

Cuando estos usuarios regresen al sitio (si el experimento aún se está ejecutando) , se leerá su cookie y se mostrará la variación correcta.

El orden básico de los eventos es el siguiente.

  1. El visitante aterriza en el sitio
  2. El sitio verifica si tienen una cookie variante previa
  1. Si existe control – Ejecutar control
  2. Si existe VarA: ejecute el archivo javascript de la Variación A
  • Si no existe una cookie, asigne aleatoriamente la cookie al usuario
    1. Si se le da control (50% de probabilidad) – Ejecutar control
    2. Si se le da VarA (50% de probabilidad) – Ejecute el archivo javascript de la Variación A
  • Cuando se completa un objetivo (conversión), verifique qué cookie tienen y registre el resultado.
  • El objetivo de las pruebas A / B es que obtienes una visión imparcial de las preferencias de tus usuarios. Las pruebas de usuario no son lo suficientemente precisas porque las personas no se comportan igual cuando saben que están en un estudio.

    La investigación del usuario es excelente para ayudar a informar las pruebas A / B, pero no debe hacerse en lugar de las pruebas A / B.