¿Cuál es la mejor división del tráfico mientras se realiza la prueba A / B? 50:50 o 95: 5?

La respuesta depende de

  1. si realiza un estudio comparativo o realiza un experimento aleatorio controlado;
  2. la probabilidad de que B sea defectuosa.

En un estudio comparativo, podría implementar dos versiones de una nueva página de destino para su tráfico de anuncios entrantes. En este caso, el riesgo es igual y no hay ninguna razón para tratar a B de manera diferente a A, también podría dividir 50/50 y alcanzar una significación estadística más rápido.

En una prueba controlada, está realizando una verificación estadística de una hipótesis de producto de que B no es peor que A. En este caso, su ruta de código A ha existido durante un tiempo y es razonablemente estable. Está interesado en reemplazarlo potencialmente por B, siempre que sea mejor con alguna métrica bien elegida. Si ese es el caso, desea comenzar a enviar tráfico a B poco a poco porque 1) B es una nueva ruta de código y puede contener errores, que no desea exponer a la vez; y 2) enviar un gran porcentaje puede desencadenar acciones de marketing y operativas, por ejemplo, comunicados de prensa, capacitación de soporte, documentación, etc., que desea evitar hasta que B “gane” y tome la decisión de productizarlo.