🗞️ A/B test checklist
Guía de experimentación de producto y mejores prácticas
👋 Hola soy Pavel, bienvenido a una nueva ✨edición gratuita✨de El Descubrimiento. Cada semana hablamos sobre producto, growth y oportunidades en el sector tech.
Si aún no eres suscriptor, esto es lo que te has perdido en este mes:
Pasos para lanzar experimentos:
¿Puedes testearlo?
No puedes hacer pruebas A/B de cada pequeña cosa. Nuevos flujos o los lanzamientos de productos no pueden evaluarse siempre mediante pruebas A/B. Pueden existir sesgos potenciales, como el efecto novedad o la aversión al cambio que harán que siempre falles en el análisis.
Formula la hipótesis
¿Por qué tienes que realizar el experimento? ¿Cuál es el ROI? ¿Es un buen momento para ejecutar la prueba? Considera la estacionalidad, los lanzamientos de nuevas versiones, etc.
Establece el índice esperado: este es tu Efecto Mínimo Detectable (MDE). Es la diferencia más pequeña aceptable entre el Control y la Variante. Si la variante es un 0.0001% mejor que el control, ¿aún querrías realizar la prueba? ¿Vale la pena el coste y el tiempo?
Define las métricas que quieres atacar
Para el análisis A/B, utilizo un conjunto de 3 métricas:
Métricas de éxito
Métricas del ecosistema (KPIs de la empresa)
Métricas de compensación
Define la audiencia.
¿El experimento es relevante para nuevos usuarios, usuarios activos o para todos? ¿Qué región, plataforma e idioma? Si trabajas con analíticas avanzadas, ¿necesitas limitar la exposición de la prueba a algún tipo de perfil?
Cuantos más atributos y filtros de usuario agregues, más tiempo tardará la prueba, ya que reduce el tamaño de la muestra. Dicho esto, también reduce la varianza, y por lo tanto, la prueba será más precisa.
Usa esta calculadora para descubrir cuanta audiencia necesitas
Calcula el tamaño de la muestra:
Continúa leyendo con una prueba gratuita de 7 días
Suscríbete a El descubrimiento para seguir leyendo este post y obtener 7 días de acceso gratis al archivo completo de posts.