Cómo Comenzar a Experimentar en una Startup: Guía Completa
Descubre cómo tres expertos de growth comparten sus mejores prácticas y metodologías para empezar a experimentar con éxito en tu startup.
Las mejores startups del mundo experimentan, y mucho. Sobran los casos de productos exitosos que para llegar a donde están hoy pasaron por un sinfín de validaciones, iteraciones y experimentos. Tal es el caso de empresas como Meta, Airbnb, Slack, entre otras. Estos experimentos les permitieron, no sólo entender cómo atraer gente a su producto y adquirir usuarios, sino también cómo encontrar la forma de que esos usuarios continúen usando su producto y mejorar su monetización a lo largo del tiempo.
Las empresas que experimentan con frecuencia, tienen mejor desempeño que el promedio de empresas en el S&P 500. Se creó un índice bursátil que sigue la tendencia del precio por acción de las empresas con sistemas de experimentación continuos y la diferencia entre estas, no solo es clara sino abismal.
En esta ocasión Joaquin Casellas, Mariano Rey y Andres Cajiao, tres expertos de growth nos traen sus consejos, mejores prácticas y metodologías para comenzar en el mundo de la experimentación.
Los autores
Qué es experimentación
La experimentación en una startup no es muy diferente al proceso que Darwin, Einstein y otros científicos emplearon para sus descubrimientos. También conocido como el método científico, este es un sistema que busca probar una premisa a través evidencia empírica y de la prueba y el error. Actualmente las startups y scaleups implementan el método científico para descifrar las mejores estrategias y tácticas para crecer.
Importancia de la Experimentación
“Cualquier startup, scale up, u organización puede experimentar. Incluso con tu cuenta de instagram puedes hacerlo”, comenta Joaquín. “Mucho del éxito tiene que ver con aprender rápido y ser adaptable a cambios y oportunidades.”
Es fácil para una organización aferrarse a conceptos preconcebidos y encontrarse a la defensiva de ideas, supuestos y prejuicios que alejan a las compañías del aprendizaje y el crecimiento. Es acá donde tanto una cultura como un sistema de experimentación, se vuelven fundamentales para tomar decisiones basadas en datos sólidos y verificables – en otras palabras, poder equivocarse sin grandes costos.
Ahora, es importante recalcar que esto no quiere decir que toda decisión tiene que tener un experimento que lo justifique, ni que es imposible moverse sin experimentos. Por el contrario, saber experimentar también requiere entender cuándo y cuáles son las limitaciones de un experimento para la toma de decisiones.
La experimentación sucede en un entorno donde podemos controlar la incertidumbre y priorizamos la precisión por sobre la generalidad. Los experimentos pueden ayudar a reducir la incertidumbre en la toma de decisiones pero depender 100% de ellos es cuando menos, utópico.
Elementos Clave de un Buen Experimento
El paso más importante para mejorar los procesos internos de experimentación es tener un formato para estructurar, documentar y socializar experimentos. Todo experimento debe ser replicable, fácil de comprender y fácil de divulgar.
Experimentar de la forma correcta es un tema robusto y lleno de matices y detalles sutiles. Sin embargo, los siguientes son los elementos que consideramos se deben contemplar como parte de la mayoría de experimentos a correr.
Problema o Research Question: ¿Qué queremos responder? ¿Qué nos interesa aprender en este ejercicio? ¿Cuál es el problema al que nos estamos enfrentando como startup y que nos está impidiendo crecer?
Por ejemplo, un problema en el caso de Slack podría ser que los usuarios del plan gratuito no se están pasando al plan pago.
Insights: ¿Qué datos o que información motivan el experimento? ¿Por qué es relevante gastar tiempo y recursos en este desafío y no otro? Aquí es importante considerar “insights” y observaciones del equipo para decidir destinar esfuerzo en resolver este problema. Sobre todo si existe un consenso de que es un problema relevante.
Evidencia pasada: ¿Hay conocimiento previo dentro de la organización sobre los conceptos que vamos a explorar? ¿De qué manera este experimento agrega conocimiento o valor incremental al archivo de conocimiento que ya tenemos? Este es un paso comúnmente subestimado, pero muy importante para evitar correr experimentos redundantes. Sobre todo en scaleups donde varios equipos pueden estar buscando resolver una misma problemática.
Hipótesis: Es una premisa que buscamos probar como el origen del problema. Es decir, puede afirmarse como verdadera o falsa, pero debe estar soportada por evidencia desde su planteamiento. Esto puede ser a través de encuestas, análisis de datos, etc.
Volviendo al ejemplo de Slack, un problema podría ser: “Creemos que los usuarios gratuitos no se están pasando al plan pago porque no tienen suficiente información sobre los beneficios del plan para su empresa”.
Luego de definir el problema que queremos resolver, debemos formular una hipótesis sobre qué creemos que podemos hacer para resolverlo. Por ejemplo, nuestra hipótesis puede ser que "si realizamos una llamada de ventas a los usuarios que administran cuentas de Slack y les informamos los beneficios del plan Pago, van a convertir”.
“Casi todo experimento se basa en un “mecanismo de transmisión”. Es decir, la relación de una variable con otra y cómo ejercer un cambio sobre una afecta el comportamiento de la otra”, comenta Mariano. “Por ejemplo, hicimos A → pasó B”, el mecanismo de transmisión es la flecha. Si la hipótesis y la relación entre las variables del experimento no están bien formuladas, no hay chances de que salga bien”.
Una hipótesis bien formulada al menos cumple con los siguientes requisitos:
Predice las relaciones entre variables
Predice el resultado (“crece”, “decrece”, etc.)
Es clara y no genera ambigüedades
Los resultados son observables y verificables
Responde a la pregunta que nos hacemos al experimentar (“research question”). Es crucial recordar que probar una hipótesis no tiene nada que ver con el “éxito del experimento”. Diseñar experimentos de tal manera que ayuden a probar nuestra hipótesis es un gran error. Un experimento debe ser neutral al fracaso de su hipótesis
Objetivos específicos y medibles: Debes tener una meta antes de comenzar cualquier experimento. Esto significa que el equipo debe estar de acuerdo sobre lo que quiere lograr con el experimento y cómo lo medirá.
Elegir una ‘North Star Metric’ → un experimento busca mover un solo KPI. Como regla, un experimento que quiera mover más de un KPI a la vez, tiene mas probabilidad de salir mal. Puede hacerse una división entre NSM y secondary metrics que ayude a la priorización.
Elegir ‘Guardrail Metrics’ → métricas que el experimento no debe dañar, pero puede afectar con impacto colateral (por ejemplo, la relación entre tasa de conversión, revenue/usuarios y descuentos). Sirve mucho también dejar escrito qué esperamos que pase con esas métricas al comenzar con el experimento. Es importante prestar atención acá para prevenir optimizaciones “locales” donde el impacto positivo en una métrica, perjudique alguna otra y perdamos de vista el efecto de nuestros tests en el ecosistema de nuestro producto.
Construcción del test: aquí la idea es pensar de qué manera podríamos validar nuestra hipótesis, entender cómo vamos a construir el test. ¿Va a ser con una modificación en un anuncio? ¿Vamos a enviar una comunicación nueva? ¿Vamos a tocar alguna parte del producto? En el ejemplo de Slack, un test podría ser: “Vamos a probar enviando un correo a los usuarios que lleguen al límite del plan gratuito hablando sobre los beneficios del plan pago”.
Es esencial contar con una metodología de análisis clara y bien definida. El equipo debe estar preparado para analizar y comprender los datos recopilados durante el experimento, de manera que puedan sacar conclusiones significativas — la metodología debe estar alineada con los expertos en el tema (por ejemplo, si estamos analizando métricas continuas, se recomienda un t-test, si estamos evaluando ratios, se recomienda un z-test — pero necesitamos gente con conocimientos de estadística para manejar este tema).
Puntos a considerar en el diseño:
Duración: ¿Cuánto debe durar el test?
Randomización / Audiencias: ¿Cómo vamos a dividir las audiencias? Esto puede ser por ubicación, ID de usuario, tiempo, días, etc. ¿Qué tipo de usuarios van a ver nuestra prueba? En el caso de Slack, por ejemplo, serían solo los usuarios que están en el plan gratuito y están por llegar al límite de uso.
Cómo dividir el tráfico: Existen muchísimas técnicas para hacer división de tráfico, y dependerá del volumen de usuarios que se maneje, pero generalmente lo mejor es hacer una división 50/50, donde mitad de los usuarios ven la experiencia actual y la otra mitad el test (siendo el primero el grupo de control y el segundo el grupo de test).
MDE (minimum detectable effect): ¿Qué porcentaje de impacto es significativo?
Tipo de test: A/A, A/B, A/B/n: ¿Qué método de test usaremos? Existen incluso técnicas que operan en espacios donde el A/B no es óptimo. Hay una infinidad de metodologías y no es para nada trivial elegir la adecuada.
Tamaño de la muestra: ¿Cuántos usuarios se verán afectados por el tratamiento del test? ¿Qué volumen de usuarios necesitamos para que nuestra prueba muestre resultados significativos? Para calcular esto podemos usar el Sample Size Calculator de Evan Miller, pero es importante tener en claro 2 cuestiones fundamentales. Primero, ¿cuál es la tasa de conversión actual para mi variable de conversión? Y segundo, ¿cuál es el efecto mínimo que pienso que voy a tener sobre la tasa de conversión actual? Yendo al ejemplo de Slack, suponiendo que ellos tienen un conversion rate del 10% de gratis a pago y creen que con su experimento pueden mejorar esa métrica un 25% en términos relativos, necesitarán 2332 usuarios cada una de las variantes para llegar a resultados estadísticamente significativos.
Tiempo hasta resultados: Con ese número, y el número de usuarios que se reciben por día, podemos calcular cuánto tiempo nos llevaría completar el experimento haciendo la división: total de usuarios necesarios / total de usuarios por día.
Post experimental effects: Una vez terminado el experimento, ¿los efectos del mismo persisten en el tiempo? ¿El experimento cambió el comportamiento de nuestras variables? De ser así, siempre es recomendable tener un periodo de observación posterior a la finalización del experimento. Pueden surgir varios problemas si uno toma a los experimentos como eventos ‘discretos’ y no considera también que pueden tener efectos continuos en el usuario afectado, pueden surgir grandes problemas.
Gobernancia: Primero se tiene que definir un “champion” — aquella persona que es la principal interesada en los aprendizajes de este test. Segundo, hay que elegir a un ”owner” — quién se va a asegurar que se lleve a cabo. Tercero, ¿qué recursos — financieros y de equipo — se van a destinar a este experimento? ¿Quienes van a trabajar en este experimento y que van a hacer? Y por último, reporteo. ¿Quién va a analizar los resultados y presentarlos de manera digerible para el resto de la organización?
Estrategias para Crear una Cultura de Experimentación
Toda teoría puede sonar excelente, pero ponerla en práctica puede ser muy difícil. Cuando hablamos de experimentación, resulta particularmente difícil por múltiples razones:
Es un proceso que precisa de organización, muchas veces, entre múltiples equipos de una compañía. Si tratamos a nuestro equipos como silos, difícilmente podamos crear una cultura exitosa en este sentido.
No existe suficiente empuje por parte del management o los equipos más importantes dedicados a entregar resultados de negocio. Si el liderazgo falla en este sentido, es muy difícil que la experimentación se convierta en un ritual, así como son las reuniones semanales o cualquier otro tipo de proceso recurrente.
Es difícil justificar un esfuerzo de tiempo y recursos cuando los resultados terminan no siendo positivos (o nuestra hipótesis termina siendo incorrecta). Entender que la experimentación es un proceso de aprendizaje y enmarcarlo así debería ser uno de los objetivos principales.
Instrumentar (o armar) un experimento puede resultar difícil, desde el pre-trabajo hasta la creación del experimento en sí. Es clave que los equipos tengan todas las herramientas necesarias para poder ejecutar, obtener resultados significativos y aprender.
ENTONCES, ¿CÓMO EMPIEZO?
Para Mariano Rey, lo más importante para crear una cultura organizacional que abrace la experimentación como herramienta principal para el aprendizaje es un compuesto multivariable:
El management debe estar alineado en por qué, cómo, cuándo y dónde experimentar. Los equipos, a su vez, deben estar informados y ser parte del proceso para definir el problema, la hipótesis, el test y monitorear los resultados.
La instrumentación es absolutamente clave. Un error en cómo se mide un experimento puede ser fatal, al punto de arruinar completamente los resultados. Tener en claro cómo se quiere armar el test y las herramientas necesarias es súper importante. Algunos tests serán más simples que otros, pero siempre es necesario habilitar los recursos necesarios para probar.
Abrazar, por sobre todas las cosas, el aprendizaje. Si el experimento dio resultados diferentes a los esperados, ¿por qué fue? ¿Qué creemos que sucedió? ¿Cómo podemos mejorar nuestras hipótesis a futuro? Si salió bien, ¿por qué fue? ¿En qué acertamos? Esto, en última instancia y a lo largo del tiempo, debería ir mejorando la habilidad de generar hipótesis y test al punto tal de mejorar mucho la eficiencia de los experimentos.
Entender cuáles son las oportunidades estratégicas o problemas más importantes a los que nos enfrentamos como negocio. Toda empresa tiene recursos y tiempo limitado, entender dónde poner los esfuerzos para lograr el mayor retorno posible es de vital importancia.
Ser disciplinados en el proceso de experimentación (cumplir con todos los requisitos para obtener resultados significativos) y documentar todos los aprendizajes.
Cómo Evitar Errores Comunes en la Experimentación
La finalidad de la experimentación es el aprendizaje. En el caso de una startup, idealmente un aprendizaje colectivo, donde la transferencia del conocimiento en el equipo fundador se haga de manera ágil, concisa, efectiva. Para Andrés Cajiao, un experimento fracasa principalmente en tres instancias: si no se aprende nada, si el único que aprende es quien lo ejecuta, o si dicho aprendizaje no puede ser retomado en un futuro de manera que pueda ser útil en nuevas hipótesis o para nutrir nuevos experimentos.
UN EXPERIMENTO FRACASA SI NO SE APRENDE NADA
Parte de la fórmula de crecimiento compuesto de una startup tiene que ver con su capacidad de “apilar” aprendizajes uno sobre otro y utilizarlos como axiomas de conocimiento que se combinan para innovar y ejecutar en todas las áreas de Product Channel Model Market Fit.
“Muchos first-time founders, así como startups que vienen de emprendimientos construídos con modelos tradicionales de desarrollo de producto y pensamiento estratégico, se obsesionan con conseguir el resultado de negocio, el impacto inmediato”, menciona Andrés. “Hacer la venta. Lograr el suscriptor. Lograr la interacción.”
Esta obsesión con el resultado resulta dañina, pues a costa del resultado muchas veces puede venir el aprendizaje, si no se es cuidadoso con el balance.
Equipos que hacen experimentos multi-variables, que no miden meticulosamente cada aspecto de su hipótesis, o que, en su afán de entregar, no invierten suficiente tiempo en ciclos de análisis de su experimento.
Para un startup, más importante que lograr el número inmediato, que siempre se puede “growth hackear” (otra forma de decir “forzar”), es aprender.
Entonces, cuando vayas a liderar una iniciativa, comienza con preguntarte no con “¿Qué resultado deseo obtener?” sino “¿Qué queremos aprender, como equipo?”.
UN EXPERIMENTO FRACASA SI EL ÚNICO QUE APRENDE ES QUIEN LO EJECUTA
Hacer una startup es construir un equipo de SEALS. Altamente entrenados, altamente sincronizados, y con un absoluto nivel de confianza uno en el otro.
Si vas a asaltar un edificio, en tu mente confías plenamente en que quien debe tomar el flanco derecho lo va a hacer, y das la espalda sin temor, para también cumplir con tu objetivo de asaltar el flanco izquierdo. Eso es ser un SEAL.
Pero ¿Y si no confías? No termina bien para ninguno en el equipo.
Son muchas las variables a controlar, acertar, y ejecutar correctamente para que una startup funcione. Además de la confianza, cada contribuidor tiene que entender perfectamente cómo debe lucir su pieza del rompecabezas para que encaje con las demás.
Entonces, si en tu experimento no haces un esfuerzo importante por documentar tu intención, tu proceso, tus resultados, tus aprendizajes, y tu análisis, es probable que el único que aprenda algo seas tú. Y de hecho, en muchas ocasiones, si no te obligas a hacer este ejercicio de manera estructurada y escrita, ni tú mismo vas a saber qué pasó.
Además de tu obsesión por el aprendizaje, asegúrate de continuar con una obsesión por la documentación y el compartir el conocimiento.
ELI5: “Explain it like I’m five”.
Documenta como si lo estuvieras explicando a un niño de 5 años. Y asegúrate que lo que aprendas sea comprendido por tus compañeros del equipo SEAL.
UN EXPERIMENTO FRACASA SI DICHO APRENDIZAJE NO PUEDE SER RETOMADO EN UN FUTURO DE MANERA QUE PUEDA SER ÚTIL EN NUEVAS HIPÓTESIS O PARA NUTRIR NUEVOS EXPERIMENTOS
Las últimas tendencias en construcción, almacenamiento, y transferencia de conocimiento se enfocan en la vectorización de la información y el armado lógico de contextos y relaciones entre conceptos.
Como parte del normal funcionamiento de nuestro cerebro conectamos ideas, las procesamos, y las almacenamos con naturales relaciones unas con las otras. A esto se le conoce como un proceso de “cognición humana”.
Al liderar una startup, debes tener alta intención en la construcción digital de tu proceso de cognición grupal.
¿Cómo vas a documentar? ¿Cómo se archiva la información? ¿Cómo se relaciona?
Con la llegada de herramientas como GPT-3, Notion AI, y demás vehículos de relacionamiento digital de la información esto será cada vez más fácil. Pero recuerda, si le entregas basura a un algoritmo, no puedes esperar que el resultado sea otra cosa que basura.
Cuida tus inputs, obsesiónate por una buena documentación, y construye una cognición grupal digital que logre este propósito de aprendizaje colectivo.
Conclusión
Teniendo en cuenta la necesidad de una estructura, y la pequeña guía para la misma mencionada arriba, es importante recalcar que la experimentación debe ser un proceso iterativo y continuo, donde los resultados sean accesibles y fáciles de encontrar para toda la organización.
En resumen, para obtener resultados confiables y significativos, las startups deben adoptar una estructura clara y replicable en sus procesos de experimentación y estar dispuestas a aprender y ajustar su estrategia en función de los resultados obtenidos.
La experimentación es un proceso clave para una estrategia de producto exitosa, donde hay que invertir en infraestructura y procesos para que los aprendizajes sean replicables y confiables. Los experimentos nos ayudan a priorizar aprendizajes y recursos, pero hay que diseñarlos cautelosamente para que responda de verdad las preguntas que nos importan y que optimicen las métricas correctas para evitar ‘óptimos locales’ o caer en sesgos y errores.
📚 Otras lecturas que pueden interesarte:
Si nuestro blog te agrega valor, compártelo con tus amigos y colegas. 👇
Saludos Rockstar,
Dylan 👋