4 pasos para definir GRANDES métricas para CUALQUIER producto

Un modelo mental y un marco que puede usar para nuevos productos, productos existentes e incluso entrevistas de PM

En esta serie...

• Parte 1: ¿WTF es una métrica? — introducción a los conceptos básicos de las métricas, qué es y por qué es importante.
• Parte 2: 4 pasos para definir GRANDES métricas para CUALQUIER producto: cómo desarrollar una métrica desde cero.
• Parte 3: ¿Qué le está haciendo su métrica a sus clientes? — cómo evitar las consecuencias no deseadas de la "única métrica que importa".

Las métricas importan. El éxito de su producto depende y está definido por las métricas. Las métricas son una lente para ver la salud y el rendimiento de su producto. Definir sus métricas, por lo tanto, debe ser tan intrínseco al proceso de desarrollo de su producto como definir los requisitos.

De hecho, las métricas son una de las preguntas más frecuentes en las entrevistas de gerentes de productos:

¿Cómo definiría la métrica de éxito para la función X?

El reto

Desarrollar métricas desde cero puede ser increíblemente desalentador, precisamente porque hay mucho en juego. A menos que trabaje en una industria donde las métricas estándar son ampliamente aceptadas (como en juegos, comercio electrónico o venta minorista), las métricas son cualquier cosa menos triviales.

Muchos gerentes de productos comienzan de abajo hacia arriba: monitorean y recopilan la cantidad casi infinita de puntos de datos que pueden obtener. Sin embargo, una verdad obvia comienza a surgir rápidamente...

…no todos los datos se crean de la misma manera.

El hecho de que pueda realizar un seguimiento de todo no significa que deba hacerlo. Algunos datos son más valiosos que otros porque le brindan una visión única de la salud de su producto. Por el contrario, hay una gran cantidad de datos deficientes que pueden nublar su juicio.

Un modelo mental para métricas

Demos un paso atrás. Piense en su producto como una caja:

Puede comenzar a instrumentar este cuadro y recopilar todos los datos disponibles, pero esto puede convertirse en un enfoque sin rumbo caracterizado por un constante ensayo y error.

Para crear un producto que sus usuarios valoren, primero debe determinar las entradas y salidas de este cuadro. Sus entradas son cualquier cosa que sus usuarios le presenten: sus problemas y sus recursos. Sus salidas son las circunstancias resultantes del uso de su producto. Estos se convierten en sus objetivos .

Pero esto no es una caja negra. La mayoría de los productos requieren que el usuario realice acciones dentro del producto para extraer valor y lograr sus objetivos .

Cuantificar y medir estas acciones le brinda información sobre cómo (y cuántos) usuarios obtienen valor de su producto. Cuando realiza un seguimiento de estas acciones a lo largo del tiempo, se convierten en sus métricas .

Una vez que comience a recopilar datos para sus métricas, puede ponerlos a trabajar para evaluar su producto. Los resultados de sus evaluaciones pueden informar cualquier cantidad de ajustes en sus objetivos , acciones o incluso métricas .

Puede comenzar a ver que este modelo tan simple se puede aplicar de muchas maneras:

• Definición de métricas de éxito para un nuevo producto
• Determinar el éxito y el impacto de una nueva característica
• Renovación de métricas para un producto existente
• Responder preguntas de la entrevista sobre métricas

Para cada paso, aquí hay un poco más de detalles sobre cómo hacer esto.

El Marco JUEGO

El marco GAME es un proceso de 4 pasos que puede definir métricas para cualquier característica o producto . En el resto de la publicación, me referiré a un "producto" hipotético, pero siéntase libre de sustituirlo por "característica" cada vez que se discuta un "producto".

Paso 1: Articula tus objetivos

Esto es obvio, pero siempre debes comenzar definiendo tus objetivos para tu producto. Sus objetivos son fundamentales para garantizar que mantenga una mentalidad estratégica orientada a un propósito. También sirven como marcadores tangibles para revisar y validar la corrección direccional a lo largo del proceso de desarrollo de métricas. Colocar el establecimiento de objetivos como su primer paso lo obliga a ser de arriba hacia abajo, lo cual es fundamental para desarrollar métricas. Un enfoque de abajo hacia arriba es subóptimo porque se basa en la intuición y, a menudo, puede conducir a la parálisis del análisis.

Para definir tus objetivos, hazte las siguientes preguntas:

• Objetivos del usuario: ¿Cómo se beneficiarán mis usuarios de mi producto? ¿Qué problemas quieren mis usuarios que mi producto les resuelva? ¿Cómo interactuarán mis usuarios con el producto? ¿Cómo se sentirán mis usuarios cuando utilicen mi producto? ¿Cuál es mi visión de cómo este producto se integrará en la vida de mis usuarios?
• Objetivos comerciales: ¿Cuáles son los beneficios comerciales tácticos o estratégicos? ¿Aumentar los ingresos? ¿Disminuir el costo? ¿Ser más competitivo? ¿Entrar en un nuevo mercado? ¿Cómo se ve mi negocio si mi producto tiene éxito?

Tenga en cuenta que para muchos de los mejores productos, los objetivos comerciales y de usuario se alinean. Estos objetivos son a menudo dos caras de la misma moneda.

Una vez que tenga este conjunto, estará listo para entrar en acción.

Paso 2: Haga una lista de las acciones que importan

El siguiente paso es definir sus acciones de usuario, o más precisamente, todas las acciones que desea que sus usuarios realicen dentro de su producto. Esto debería comenzar como una lista cualitativa . No se preocupe por los números o si ya son rastreables.

Aquí hay algunos ejemplos de preguntas que puede hacerse usando el marco de métricas ARM común. Elija el conjunto de preguntas que se alineen con sus objetivos:

• Adquisición y activación : ¿Cómo se enterarán mis posibles usuarios acerca de mi producto? ¿Qué acciones deben realizar mis posibles usuarios para convertirse en usuarios de mi producto? ¿Qué acciones deben realizar mis usuarios para obtener valor de mi producto? ¿En qué momento mi producto está resolviendo un problema real para mis usuarios?
• Retención y compromiso : ¿Qué hace que mis usuarios vuelvan a mi producto? ¿Qué hacen mis usuarios cuando están comprometidos e interesados en mi producto? ¿Cuáles son las acciones que brindan valor repetido a mis usuarios? ¿Con qué frecuencia tiene sentido que mis usuarios realicen esas acciones? ¿Diariamente? ¿Semanalmente? ¿Mensual? ¿De vez en cuando?
• Monetización e ingresos : ¿Con qué forma de "pago" compra mi usuario, dinero o tiempo? ¿Qué acciones toman mis usuarios para que mi producto comience a cobrarse? Si mi producto es gratuito, ¿cuáles son las razones por las que mis usuarios optarán por pagarlo? ¿Me pagan directamente o alguien más me paga cuando mis usuarios realizan una acción (por ejemplo, publicidad/afiliación)? ¿Me pagan por cada acción (transacción) o me pagan periódicamente (suscripción)?

También puede usar marcos de métricas como AARRR para eliminar las acciones. La clave para hacerlo bien es ser completo pero no exhaustivo : tener la cobertura más amplia, pero no molestarse en diferenciar las minucias. Por ejemplo, si su acción de usuario de adquisición es "suscribirse al boletín", no se preocupe (todavía) por enumerar cada interfaz de suscripción al boletín.

Paso 3: Defina sus métricas

Ahora está listo para convertir cada acción de usuario deseada (cualitativa) en un valor medible y rastreable (cuantitativo). Tenga en cuenta que, si aún no lo ha hecho, traiga equipos de datos e ingeniería en esta etapa para examinar sus métricas y brindar orientación técnica sobre la viabilidad de recopilar/almacenar los datos deseados.

Aquí hay algunas decisiones importantes sobre cómo contar cada acción:

• Directo vs. Proxy : ¿Se puede rastrear directamente la acción? ¿O tienes que usar un proxy para medir la acción? Por ejemplo, puede medir los "clics" directamente, pero es posible que necesite representar las "vistas" con valores como el desplazamiento.
• Individual frente a agregado : ¿Puede agrupar muchas acciones para obtener una descripción general y luego separarlas como porciones para un análisis posterior? Por ejemplo: ingresos totales → ingresos por línea de productos → ingresos por producto individual.
• Magnitud vs. Razón : ¿Le importa más medir las magnitudes generales de la acción? ¿O debería realizar un seguimiento como comparación utilizando una relación, ya sea una tasa (por tiempo) o un factor de normalización (porcentaje, por usuario, etc.)? Por ejemplo, puede medir "ingresos totales" o "ingresos por día" e "ingresos por pagador", lo que le dará perspectivas muy diferentes sobre los mismos datos.
• Intrínseco vs. Heurístico : ¿Puede obtener más conocimiento de la medida intrínsecamente? ¿O tiene que confiar en la heurística para que la métrica sea valiosa? Por ejemplo, mientras que el "usuario activo diario" (DAU) puede ser intrínsecamente útil para las aplicaciones B2C, una heurística como "número de usuarios de pago que estuvieron activos en los últimos 30 días" puede ser más apropiada para los productos SaaS B2B que se espera que sean usado mensualmente.

Para la mayoría, este es el paso más difícil en el marco. Algunas de sus decisiones se basan en una fuerte intuición, mientras que otras se basan en restricciones técnicas o análisis de datos adicionales. A menudo, no sabrá con certeza si una métrica funciona hasta algunas iteraciones.

En esta etapa, también puede comenzar a eliminar las métricas de vanidad . Modifique las métricas que se pueden "jugar", es decir, inflar o desinflar artificialmente a través de un diseño/ingeniería inteligente o una intención maliciosa del usuario. Por ejemplo, inflar las vistas de página mediante paginación o presentaciones de diapositivas.

Paso 4: evalúa tus métricas

La mejor manera de asegurarse de que sus métricas le proporcionen la información correcta sobre su producto es probar e iterar . Simplemente no sabrá cómo se comporta una métrica hasta que comience a recopilar datos.

La evaluación más importante que debe hacer es la utilidad funcional de la métrica. Puede verificar la utilidad al monitorear la métrica en busca de falsos positivos o falsos negativos. Por ejemplo, si la métrica cae, ¿señala un problema real en el producto? Por el contrario, si surge un problema, ¿la métrica lo está ayudando a señalarlo? Por supuesto, también esperaría que la métrica marque verdaderos positivos y verdaderos negativos.

Un comportamiento diferente con sus métricas puede informar las iteraciones en cada uno de los pasos de su JUEGO:

• Evaluación de métricas : ¿Los datos muestran la tendencia que esperaba? ¿La métrica es estable a lo largo del tiempo (es decir, no fluctúa mucho)? ¿La métrica marca problemas con su producto y provoca un análisis adicional? ¿Son estos los puntos de datos correctos para recopilar? Si responde "no" a cualquiera de estas preguntas, querrá reconsiderar cómo desarrolló sus métricas.
• Evaluación de acciones : ¿Estas acciones reflejan los objetivos del producto, del usuario o del negocio? ¿Tus acciones clave cuentan la historia correcta sobre el comportamiento del usuario? ¿Su conjunto de acciones cubre todos los comportamientos emergentes de los usuarios? ¿Están sus acciones a salvo de ser "jugadas" por sus usuarios? Si responde “no” a cualquiera de estas preguntas, quiere redefinir el conjunto de acciones clave.
• Evaluación de objetivos : ¿La métrica se correlaciona con el éxito del negocio o del usuario? ¿Tus usuarios están más contentos cuando tus métricas son positivas? Si responde "no" a cualquiera de estas preguntas, desea reevaluar cómo se relacionan sus métricas con sus objetivos.

Hágase estas preguntas honestas y recuerde que está buscando sus métricas para medir los signos vitales que le brindan una indicación procesable de salud y rendimiento.

Aplicación de GAME: Ejemplo de suministro de noticias de Facebook

Descargo de responsabilidad: no tengo información privilegiada de Facebook. Esta sección es pura especulación. 😇

El suministro de noticias de Facebook surge como una de las preguntas de entrevista más comunes, particularmente porque tiene la combinación correcta de ubicuidad, complejidad y opacidad.

Apliquemos el framework paso a paso:

Los objetivos para el suministro de noticias se pueden desglosar entre usuarios y objetivos comerciales:

• Objetivo del usuario : quiero poder ver lo último de lo que están haciendo mis amigos sin tener que ir a cada uno de sus perfiles.
• Objetivo comercial : los usuarios solo visitan Facebook cuando tienen un motivo para hacerlo: buscan publicar o han recibido un mensaje o una mención. Queremos mejorar el compromiso mediante la creación de una experiencia de descubrimiento de contenido permanente.

Las acciones realizadas en el suministro de noticias se pueden recopilar en la siguiente lista cualitativa cuando se considera la "participación" como el objetivo principal tanto para el usuario como para la empresa:

• Iniciar sesión en Facebook para ver Newsfeed
• Publicación en Newsfeed (texto, foto/video, álbum de fotos/video, video en vivo)
• Visualización de elementos del suministro de noticias, incluido el visionado de un vídeo
• Desplazarse por el suministro de noticias
• Al hacer clic en los elementos del suministro de noticias (contenido, nombre/foto del cartel)
• Comentar o responder a un comentario
• Dar me gusta a un artículo de suministro de noticias o un comentario
• Compartir un elemento de suministro de noticias en su propio muro o en el de otra persona (persona, página, grupo) o como un mensaje privado
• Guardar una publicación (sí, puedes ver las publicaciones guardadas más tarde ... ¿quién sabe?)
• Ocultar, dejar de seguir, informar o desactivar las notificaciones de un elemento del suministro de noticias

Observe cómo la lista es relativamente completa pero no exhaustiva : cubre todas las bases pero no trata de dividir los pelos entre todos los diferentes tipos de publicaciones, clics o comentarios. También podemos ver cómo el diseño de productos en torno a la creación o el cambio de acciones puede ser una palanca importante para impactar en el compromiso.

Métricas es donde esto se pone interesante. Al tratar de desarrollar la métrica procesable más útil, podemos examinarlos a través de nuestros diversos puntos de decisión:

• Directo frente a proxy : la mayoría de las acciones anteriores se pueden rastrear directamente con clics, excepto para ver un elemento de noticias en tiempo real. Para la visualización, podemos usar un proxy para contar la cantidad de elementos vistos, como "recuento visto si el 75% del elemento de alimentación está en la ventana gráfica del dispositivo".
• Individual frente a agregado : debido a que nuestro objetivo principal es medir el compromiso, nos preocupamos de que nuestros usuarios interactúen con el suministro de noticias en general más que cualquier acción específica, por lo que definiremos una métrica con medidas agregadas. Dicho esto, algunas acciones (como publicar) son más valiosas para nosotros, por lo que podemos optar por agruparlas de manera diferente. Por ejemplo, podemos agregar acciones de publicación de suministro de noticias en el primer depósito, ver acciones en un segundo depósito y acciones de interacción (incluidos enlaces, comentarios, compartir, bloques) en un tercero.
• Magnitudes frente a proporciones: mirar la magnitud de la acción de Newsfeed no tiene mucho sentido, ya que cualquier usuario puede generar una gran cantidad de acciones. Es más útil si consideramos acciones por día o acciones por usuario (o ambas, es decir, acciones por usuario por día).
• Intrínseco vs. Heurístico : Desafortunadamente, no existe una medida fácil para determinar si alguien está “comprometido” o no. Digamos que un análisis hipotético muestra que las personas que publican al menos 1 elemento del feed O ven al menos 20 elementos del feed O interactúan con al menos 3 elementos del feed tienen el doble de probabilidades de volver a Facebook al día siguiente. Podemos usar estos datos para desarrollar una heurística en torno a una métrica de compromiso, por lo que si un usuario cruza cualquiera de los tres umbrales anteriores, se lo considera "comprometido".

Juntando todo esto, nuestra métrica para el suministro de noticias de Facebook se verá así...:

…donde “usuario comprometido” es una heurística que se desarrolla agregando acciones directas y de representación y comparándolas como una proporción con el “total de usuarios” a diario.

Las evaluaciones vendrán en la forma de validar muchas de las suposiciones que hicimos anteriormente al poner a trabajar su métrica recién definida. Por ejemplo:

• Perfeccionamiento de la heurística : podemos encontrar que la definición de "usuario comprometido" es demasiado permisiva y que el 90 % de nuestros usuarios se considera regularmente "comprometido", lo que no deja mucho espacio para la comprensión o la mejora. Profundizamos más para encontrar que del 90%, la mayoría se involucró a través del criterio "ver al menos 20 elementos de noticias en tiempo real", por lo que ajustamos ese umbral hasta 50 para crear una barra más alta para un usuario comprometido.
• Desagregación de acciones : podemos encontrar que las personas que toman medidas contra las publicaciones negativas (ocultar, dejar de seguir, informar o desactivar las notificaciones) en realidad se correlacionan inversamente con el compromiso. A partir de esto, podemos decidir sacar estas acciones de nuestro cubo de "interacción" (cubo 3) y desarrollar una métrica separada para monitorear el comportamiento negativo de Newsfeed.
• Metas cambiantes : es posible que descubramos que hemos hecho un trabajo tan bueno al involucrar a los usuarios con el suministro de noticias que la participación ya no es el objetivo principal. En su lugar, podemos decidir cambiar el objetivo a la "monetización", donde desarrollamos funciones relacionadas con anuncios en el suministro de noticias. Si bien es posible que la participación ya no sea el objetivo principal, queremos continuar monitoreando la métrica de participación para garantizar que las nuevas funciones de monetización no tengan un impacto adverso en la participación.

Un caso para definir sus métricas antes de que las necesite

En un mundo de "moverse rápido y romper cosas", es tentador preocuparse por las métricas solo después de que se haya lanzado el producto. Sin embargo, tener métricas definidas antes de comenzar el desarrollo puede traducirse en grandes beneficios porque:

• Las métricas te ayudan a mantener el enfoque
• Las métricas establecen un objetivo común para que el equipo se reúna
• Las métricas lo hacen a usted (el PM) responsable ante sus usuarios y negocios
• Las métricas permiten una toma de decisiones más objetiva durante el período crítico de lanzamiento, incluido el triaje y la priorización

Volar a ciegas en cualquier etapa del ciclo de vida de su producto disminuirá sustancialmente su capacidad de aprendizaje. Después de todo, no puedes mejorar lo que no mides. ¡Tener los datos correctos por adelantado puede ser la diferencia entre el éxito y el fracaso para una startup !

Espero que esto haya sido un desglose útil sobre cómo desarrollar métricas. ¡Deje comentarios si tiene alguna idea o idea sobre cómo mejorar esta publicación, o si pudo aprovechar las herramientas aquí para mejorar sus métricas!

Para obtener más información sobre Gestión de productos o sobre negocios en general, sígueme en Medium o explora mis otros escritos: @vincelawco. También me pueden encontrar en mi sitio web http://vincelaw.co , en Quora respondiendo preguntas relacionadas con el producto, o en la comunidad PMHQ Slack si desea chatear.