🗞️ A/B test checklist

Guía de experimentación de producto y mejores prácticas

👋 Hola soy Pavel, bienvenido a una nueva ✨edición gratuita✨de El Descubrimiento. Cada semana hablamos sobre producto, growth y oportunidades en el sector tech.

Si aún no eres suscriptor, esto es lo que te has perdido en este mes:

1. El framework para tomar buenas decisiones

2. Guía para crear dashboards analíticos efectivos 🔒

3. Esta es la razón por la que te aburre aprender

   ---

Pasos para lanzar experimentos: 

1. ¿Puedes testearlo? 

No puedes hacer pruebas A/B de cada pequeña cosa. Nuevos flujos o los lanzamientos de productos no pueden evaluarse siempre mediante pruebas A/B. Pueden existir sesgos potenciales, como el efecto novedad o la aversión al cambio que harán que siempre falles en el análisis.

2. Formula la hipótesis

¿Por qué tienes que realizar el experimento? ¿Cuál es el ROI? ¿Es un buen momento para ejecutar la prueba? Considera la estacionalidad, los lanzamientos de nuevas versiones, etc.

Establece el índice esperado: este es tu Efecto Mínimo Detectable (MDE). Es la diferencia más pequeña aceptable entre el Control y la Variante. Si la variante es un 0.0001% mejor que el control, ¿aún querrías realizar la prueba? ¿Vale la pena el coste y el tiempo?

3. Define las métricas que quieres atacar

Para el análisis A/B, utilizo un conjunto de 3 métricas:

1. Métricas de éxito

2. Métricas del ecosistema (KPIs de la empresa)

3. Métricas de compensación

4. Define la audiencia.

¿El experimento es relevante para nuevos usuarios, usuarios activos o para todos? ¿Qué región, plataforma e idioma? Si trabajas con analíticas avanzadas, ¿necesitas limitar la exposición de la prueba a algún tipo de perfil?

Cuantos más atributos y filtros de usuario agregues, más tiempo tardará la prueba, ya que reduce el tamaño de la muestra. Dicho esto, también reduce la varianza, y por lo tanto, la prueba será más precisa.

Usa esta calculadora para descubrir cuanta audiencia necesitas

5. Calcula el tamaño de la muestra: