🗞️ Experimentación de adquisición
Datos, tipos de experimentos, herramientas y ejemplos reales
👋 Hola soy Pavel, bienvenido a una nueva ✨edición gratuita✨ de El Descubrimiento. Cada semana hablamos sobre producto, growth y oportunidades en el sector tech.
Si aún no eres suscriptor, esto es lo que te has perdido en este mes:
Esta es la cuarta parte de 🗞️ Serie de Adquisición 🗞️
Una vez publicada la serie completa, será repartida de forma gratuita entre los suscriptores de el 🔒 Descubrimiento Pro 🔒 en formato impreso.
Juanma Varo es de las pocas personas en este sector que no necesita presentación, pero si eres ese 1% que no lo conoce, decirte que Juanma lleva el modelo científico al máximo nivel; Ha realizado más de 2.000 experimentos en productos digitales y está listado en el top 100 de personas más creativas en negocios en la revista Forbes.
Tener la posibilidad de aprender de Juanma está al alcance de muy pocos, por lo que me siento un privilegiado de que haya aceptado compartir sus conocimientos con todos nosotros.
Seguir a Juanma para más contenido en Linkedin.
Fundamentos de la experimentación en adquisición y porqué aplicar la experimentación.
Empecemos por lo más fundamental de todo, y eso es una lista de definiciones que serán clave para entender por qué debemos experimentar y qué beneficios tiene frente a modelos de trabajo más tradicionales centrados en campañas.
Experimentar es el proceso de aplicar los principios del método científico de forma sistemática para obtener datos de forma continua y repetible que permitan descubrir soluciones a problemas u oportunidades.
Si hablamos de la relación entre usuarios y productos digitales, el objetivo es comprender por qué los usuarios se comportan tal y como lo hacen. La forma que tenemos de validarlo es a través de la variación en las métricas que se recogen fruto de cada experimento.
Más adelante veremos con mayor detalle de qué fases consta este proceso, por ahora, quédate con el concepto de que experimentar es un mecanismo de aprendizaje sistemático, es decir, siempre se aplica de la misma forma.
Esta idea que puede pasarse por alto, es una de las principales características y beneficios con respecto a otros modelos de trabajo. En muchas empresas, cada semana realizas tareas y acciones que no puedes comparar entre sí, ni en la forma de ejecutarlo ni en el resultado obtenido, lo que hace muy difícil que pueda mejorarse y eficientar a lo largo del tiempo. Sin embargo, el proceso de experimentación es justo lo contrario: te permite mejorar y aprender con el tiempo, independientemente de si lo aplicamos a adquisición o a otras áreas de la empresa.
La importancia de una mentalidad basada en datos.
Como habrás podido notar, esta metodología está fuertemente ligada a los datos, y es que otra de las grandes diferencias con otras formas de trabajo, es que al experimentar, le estás dando a los datos la posibilidad de guiarte en tu toma de decisiones. Hoy en día los compradores tienen acceso a todo tipo de información antes de la compra y además hay miles de productos con los que comparar. Cuando solo había un modelo de coche, dos marcas de comida rápida y un modelo de iPhone, la intuición en los negocios cobraba un mayor protagonismo. Sobre todo al tener en cuenta que la obtención de datos era muy complicada. A día de hoy, los datos son infinitamente más baratos que las opiniones.
Esta capacidad de tomar las mejores decisiones para el crecimiento de tu negocio minimizando el coste de estas decisiones es precisamente el mantra de Growth: hacer más con menos.
Ya sabemos qué es experimentar, por qué debemos hacerlo y para qué sirve, ahora vamos a ver el cómo, el cuándo y el dónde.
Tipos de experimentos en adquisición
Imagina que quieres vender un producto a través de Instagram y quieres saber qué creatividad genera más interés a tu público potencial. Decides preguntar a todas las personas de España de entre 21 y 50 años, unas 18 millones de personas. ¿Es algo que podrías hacer? A nivel tecnológico sería muy difícil, pero a nivel económico sería extremadamente caro.
Así que una forma de resolver este problema está en la aplicación de cálculos estadísticos para decidir qué tamaño de muestra necesitas (n) para poder representar al total de tus potenciales clientes, siempre que sea conocido, llamado población (p).
Cuanto mayor sea la muestra, más representativa será de la población y mayor confianza tendrás en los resultados. 1 millón de visitantes tendrá un nivel de confianza mucho más alto que si ese grupo es de 100 visitantes. Pero puede que sea igual de confiable que 500.000. Pero claro, ¿a qué coste?
Para determinar el tamaño de la muestra usaremos un cálculo estadístico:
La n y la p ya sabemos qué son, la Z representa la desviación media y la e es el margen de error máximo que queremos asumir. No te asustes, hay calculadoras como esta que te harán el cálculo. Este umbral (e) lo tendremos que decidir nosotros en base a qué nivel de riesgo queremos asumir. Normalmente, en adquisición variará entre un 80% de significancia estadística, que significa que estamos dispuestos a asumir que 1 de cada 4 resultados puede ser fruto del azar, a un 95%, donde solo queremos asumir 1 de cada 20.
Si volvemos a nuestro ejemplo, donde queremos realizar una creatividad en Instagram y el público potencial sabemos que es de 10.000 clientes y queremos tener una confianza del 80%, necesitaremos al menos 162 visitantes que realizan nuestra acción deseada (compra, añadir al carrito, registro, etc). Si queremos aumentar la confianza hasta el 95%, la muestra necesaria será de 360 visitantes.
Con estos cálculos en la mano, podremos entender cuántos de los que llegan acabarán completando la acción, supongamos que realiza esa acción un 5%, pues necesitaré un presupuesto suficiente para poder llevar 3.240 visitantes.
Así que, el primer paso para realizar experimentos en adquisición, es comprender esa fórmula, para así decidir en todo momento qué volúmenes necesito, y por ende, qué canales me van a servir y a qué coste voy a obtener esos resultados.
Ahora que ya tenemos nuestros fundamentos científicos, vamos a entrar en materia.
¿Qué tipos de experimentos se pueden hacer?
Split Testing: comparamos entre sí dos o más variantes para obtener un resultado. Aquí podemos comparar landings, creatividades, segmentos de usuario, copies, canales, etc., y le asignaremos el resultado esperado. La fórmula que vimos anteriormente no aplica, ya que para comparar entre sí sin conocer la población se requiere de un un cálculo distinto, requiriendo mucha más muestra pero con un mayor nivel de precisión. Aquí es donde entra el archiconocido A/B Testing, pero también los multivariantes, Funnel Testing, Multi Armed Bandit, Ramp ups, etc.
Pruebas de usabilidad: evaluamos el uso una vez aterrizan a nuestra landing asignándoles una «tarea» o «job» que deben realizar. Esto sirve para probar prototipos en sí, pero también si el canal desde donde viene tiene la capacidad suficiente de capturar la atención, así como si lo que mostramos desde la adquisición es suficientemente explicativo. Es decir, puede ser que los visitantes que lleguen desde LinkedIn tengan un mayor nivel de atención hacia una misma creatividad que los que están en TikTok.
SEO Testing: el objetivo de estos tipos de tests consisten en descubrir qué cambios en nuestras páginas generan un mayor tráfico. Para ello, creamos un conjunto de páginas que comparten una misma estructura y propósito, como pudiera ser las páginas de producto de un ecommerce o artículos en un periódico o blog; y las separamos en dos o más grupos. A uno de estos grupos le cambiaremos aquello que consideremos, como imágenes, metadatos, títulos, rich snippets, etc., y lo dejamos correr. Después de un mes, compararemos la variación del tráfico entre ambos grupos, el que fue cambiado y el que se mantuvo invariable, y realizaremos un análisis de series temporales para comprender la desviación sobre la predicción. Se necesita al menos 90 días de histórico. Nuevamente no te preocupes, que estos cálculos los realizarán las herramientas por ti.
Wish list, MVP, preventa, beta testers y similares: estos tipos de experimento nos permiten validar la demanda de un producto mostrando un producto en fases muy iniciales o todavía sin crear. Esto no solo aplica a marcas pequeñas, sino a marcas grandes que quieren lanzar nuevos productos al mercado y usan estos experimentos bajo un pseudónimo para comprender la aceptación del público. Aquí utilizaremos la primera fórmula.
Validación del canal: el objetivo es validar el coste del canal. Sabiendo las muestras y cuánto queremos gastar, podemos determinar si ese canal nos interesa e incluso compararlo entre ellos. La métrica resultado suele ser o el CPA, para los que finalizan en transacción o registro, y el CPC para campañas de branding. Aquí tiene cabida todo tipo de canales, como influencers, SEO, notas de prensa, redes sociales, afiliados, etc. Es sumamente importante tener una buena estructura de utms para poder medir con certeza, sobre todo en los canales orgánicos.
Herramientas
Para realizar estos tipos de experimentos, necesitamos un arsenal muy pequeño pero potente:
Por un lado, siempre necesitaremos a los canales en sí, que en muchas ocasiones ya poseen funcionalidades de A/B Testing.
Herramienta de creación de landings como Unbounce o Unicorn Platform (mis favoritas) para definir la página de destino, también se puede usar el propio CMS que uséis como Wordpress.
SEOTesting o SearchPilot para realizar SEO Testing.
Maze para las pruebas de usabilidad.
Diseño de experimentos
Para que el método científico esté bien implementado, se necesita de un proceso iterativo que siempre constará de las siguientes fases, que se repiten una y otra vez:
Observación: es el momento donde se analizan datos de negocio en busca de problemas y oportunidades.
Ideación: generamos una serie de ideas que creamos que solucionarán los problemas o accionarán esas oportunidades.
Priorización: utilizando ICE (Impact, Confidence, Ease), Bullseye Framework u otros métodos, escogeremos las mejores ideas y las ordenaremos para convertirlas en experimentos.
Diseño de experimentos: elaboración de una hipótesis y se definen los criterios de validación. Además, se definen los detalles técnicos vistos anteriormente: el canal, requisitos (landing, creatividad, etc), el resultado objetivo, el tipo de experimento, la muestra necesaria, duración de recolección de datos, la analítica a recoger y todo lo necesario para su lanzamiento.
Ejecución: en este punto comenzamos a ejecutar el experimento y lo monitorizamos durante el tiempo de vida que le asignamos.
Análisis: exploramos los resultados para tomar una decisión, y para seguir encontrando nuevos problemas y oportunidades que alimenten el inicio de este bucle. La decisión a tomar también debe estar contenida dentro de una lista de opciones:
Descartar idea: no tuvo impacto y no vamos a continuar.
Repetir: hubo algún error o la recogida de datos no fue correcta.
Iterar: a pesar de los resultados, creemos que tiene mayor potencial y queremos volver a probar.
Implementar: ha sido un éxito y queremos replicarlo, ponerlo en producción o transportar los aprendizajes.
A backlog: a pesar de ser un éxito, el beneficio obtenido es inferior o al menos no es muy superior al coste de mantenerlo.
Casos de Estudio y ejemplos reales
Tal y como habrás visto con todo esto, el hecho en sí de tener un proceso de experimentación que vaya escalando es en sí el mayor caso de éxito que puedes tener, ya que te permitirá escalar y eficientar este proceso para que cada vez se ejecute y aprenda más rápido y con cada vez un mayor impacto y éxito debido al aprendizaje obtenido; y sin duda ahí hablaría de Product Hackers. Si quiero ir al detalle, uno de los experimentos que mayor éxito tuvo fue con uno de sus clientes: PCComponentes.
El objetivo del experimento consistía en aumentar el volumen de tráfico en canales pequeños y descubrir el coste de estos.
Nuestra hipótesis era que, debido a que los costes de adquisición fluctuaban mucho en canales alternativos, definir un umbral de coste según un modelo predictivo, nos ayudaría a decidir en qué momento valía la pena invertir en canales alternativos o principales.
Esto ayudó a validar los precios de estos canales así como a generar grandes cantidades de tráfico nuevo pagando lo mínimo por ellos.
🚧 ¿Te gusta esta newsletter?
Lee aquí el resto de capítulos de 🗞️ Serie de Adquisición 🗞️
Experimentación de adquisición ← Estamos aquí ahora
Automatizando la adquisición
Como adquirir con el Marketplace de ChatGPT
El Loop de Adquisición
Una vez publicada la serie completa, será repartida de forma gratuita entre los suscriptores de el 🔒 Descubrimiento Pro 🔒 en formato impreso.
Si te ha gustado esta newsletter ✨ edición gratuita ✨ de El Descubrimiento agradecería tu apoyo con un like o compartido.
Si quieres leer sin límites prueba el Descubrimiento Pro de forma gratis.
Que tengas una feliz semana.
Pavel 👋
 | Una publicación invitada por
|
Otra masterclass directa a la bandeja de entrada!