Dicembre 8, 2020 - di Alessandro Mozzato
In questo post parleremo della scelta della North Star Metric, ovvero quella metrica fondamentale da seguire durante lo sviluppo del prodotto. Abbiamo già introdotto la North Star Metric in altri post. In una frase la North Star Metric è la metrica principale e fondamentale per valutare ogni esperimento e l’andamento generale del prodotto. In questo post vogliamo focalizzarci sugli aspetti principali nella scelta della metrica, a cosa fare attenzione ed in particolare come bilanciare una scelta di breve periodo ad una di lungo periodo.
Alla fine di questo post avrai imparato:
La scelta della North Star Metric è fondamentale per lo sviluppo di prodotto. Questa scelta ci consente di avere una metrica singola da considerare durante l’ottimizzazione e l’iterazione del prodotto. Ci consente di capire in ogni momento se stiamo andando verso la giusta direzione o meno. La metrica dunque deve soddisfare questi due principali criteri:
Quindi riassumendo: la North Star Metric deve essere misurabile nel breve periodo ed al contempo avere un rapporto causale diretto con l’effetto di lungo periodo sul prodotto. Questi due criteri possono sembrare quasi opposti e rappresentare interessi contrastanti, e talvolta lo sono.
Il problema dipende dal fatto che nel breve periodo gli effetti più evidenti e quindi facilmente misurabili sono quelli sui ricavi. D’altro canto, è molto difficile vedere effetti nella user experience o nella possibile retention, che solitamente impiegano mesi ad esser misurati correttamente. Se non si tiene conto di entrambi i fattori rischiamo di non avere una metrica affidabile o che ci porti nella direzione sbagliata.
Vediamo ora quali possono essere i problemi focalizzandosi solo in una delle due direzioni.
Idealmente se potessimo trovare una metrica perfetta per il prodotto sul lungo periodo tutti i nostri problemi sarebbero risolti. Il problema in questo caso è che solitamente metriche di lungo periodo necessitano di lunghi periodi di dati per essere calcolate.
Ad esempio per un prodotto consumer una metrica di questo tipo potrebbe essere il Customer Lifetime Value (CLV), ovvero il valore che ogni utente genera per il nostro prodotto durante tutto il suo periodo di attività. Se per ogni utente potessimo conoscere questo valore in ogni momento il nostro problema sarebbe risolte. Ovviamente questo non è possibile non potendo prevedere il futuro!
Ci sono altri metodi per calcolare il Customer Lifetime Value.
Ad esempio si può fare un’analisi del passato. Ovvero, prendendo una definizione limitata nel tempo di CLV. Ad esempio considerando il Customer Lifetime Value durante il primo anno dalla registrazione. Selezionando quindi diversi momenti nel passato possiamo vedere come questa metrica sia evoluta nel passato e in particolare se sia aumentata, come vorremmo. Questa pratica è interessante e viene spesso eseguita. Tuttavia, non essendo possibile usare queste informazioni durante un esperimento questa metrica non ci consente di prendere decisioni singole ogni giorno, quindi non può essere usato come NSM.
Un altro possibile approccio per il calcolo del CLV è utilizzare algoritmi di machine learning per predire il CLV nel futuro. In questo caso, ipotizzando di avere un buon modello di predizione, potremo usare le predizioni di questo modello come metrica per i nostri esperimenti. Tuttavia questa pratica è sconsigliata poiché spesso i modelli di machine learning sono di difficile interpretazione. Inoltre, la buona capacità predittiva per il passato non garantisce una buona predizione nel futuro, particolarmente nel caso in cui il prodotto su cui si fa una previsione cambia, ovvero il caso tipico durante gli esperimenti!
L’errore più frequente che si può compiere nella scelta di una NSM è concentrarsi su una metrica che sia troppo focalizzata sul breve periodo senza garantire una correlazione positiva col lungo periodo. Quello che può succedere, infatti, è che una metrica del genere sia positiva ma abbia riscontri negativi sul lungo termine.
Un esempio comune di metrica è prendere la revenue, ovvero considerare il profitto di un prodotto e massimizzarlo. Questo in teoria è lo scopo ultimo di ogni prodotto, generare valore per l’utente che a sua volta generà profitto per l’azienda. Se questa metrica in un primo momento può sembrare sensata ed efficace ci sono molti motivi per cui può portare a prendere decisioni decisamente sbagliate. Questo dipende principalmente dal fatto che fare una scelta di mero profitto può portare molto spesso a dimenticare l’utente, o peggio, a prendere decisioni a suo sfavore. Vediamo alcuni esempi pratici.
In generale quindi una buona NSM è quella che ci permette di tenere in considerazione le esigenze e la salute del prodotto, ma al contempo quelle dell’utente finale.
Trovare il giusto compromesso è la domanda da un milione di dollari! E’ anche la soluzione che veramente ci porta ad avere una scelta vincente.
Vediamo un esempio concreto di generazione di una North Star Metric.
Un prodotto per prenotare camere d’albergo è un marketplace in cui si incontrano una domanda e un’offerta (di camere). Il fine ultimo del prodotto è generare profitto tramite una commissione pagata dall’albergo e/o dall’utente. E’ chiaro però che se utilizzassimo la revenue totale come indicatore di successo del prodotto questo potrebbe facilmente portarci a prendere decisioni sbagliate. Ad esempio privilegiare solamente alberghi costosi o pernottamenti lunghi, portando quindi ad ottimizzare il nostro prodotto in queste direzioni. Queste però non sono necessariamente in linea con i bisogni dell’utenza. Quindi falliremo nel generare valore per l’utente!
Una metrica che è molto più utile in questo caso è considerare ogni prenotazione in modo equivalente. Questa scelta ci permette sostanzialmente di pesare in modo simili l’acquisizione di una vasta gamma di strutture differenti, dagli appartamenti agli alberghi di lusso, e tutti i tipi di potenziali clienti, da chi cerca l’ostello a chi vuole la suite presidenziale.
Questa scelta allo stesso tempo ci da anche una concreta misura sullo stato di salute del nostro marketplace. Ci indica infatti se vi è una crescita generale o meno, da ambo i lati.
Ecco ora alcuni esempi del procedimento di scelta per la North Star Metric
In conclusione la scelta della North Star Metric è fondamentale per avere una guida stabile e solida da seguire durante lo sviluppo del prodotto. Il problema fondamentale nella scelta di questa metrica è trovare il giusto bilanciamento tra la possibilità di misurarla facilmente in brevi esperimenti ed avere una correlazione col successo del prodotto sul lungo periodo. Per questo un aspetto fondamentale da tenere sempre presente è il valore generato per l’utente. Scegliendo una metrica che sia in grado di catturare questo aspetto avremo grandi possibilità di successo!
Sono un Senior Data Scientist a Meta, dove da un anno lavoro ad una nuova iniziativa di Shopping su Instagram e Facebook. Precedentemente, dopo una tappa di un anno a Roma presso Enel, ho lavorato 4 anni a Booking specializzandomi in personalizzazione e raccomandazioni. Ho un dottorato in modelli climatici.
Le slide sono disponibili per studenti ed ex studenti del Master in Product Management
2 replies on “North Star Metric: come sceglierla correttamente”
Davide
Ottimo articolo Alessandro!
Ho solo un dubbio sull’esempio della prenotazione delle camere d’albergo. “Considerare ogni prenotazione in modo equivalente” può essere realmente una metrica? Mi è difficile pensare al modo di renderla attuabile e quantificabile, pur rappresentando un valore indiscutibile di crescita. Inoltre volevo avere un tuo parere su una metrica che mi è venuta in mente: Il tempo speso dall’utente per prenotare. Secondo te può essere efficace? Quali possono essere pro e contro?
Un saluto! 😁
Davide
Alessandro
Ciao Davide! Certo, considerare il numero di prenotazioni come metrica piuttosto che numero di notti totali o totale del valore della prenotazione o altre metriche aggregate e’ di solito la soluzione che prendiamo a Booking ma e’ anche quello che utilizzano ad Airbnb come northstar. Il motivo e’ il fatto che concentrarsi sulla prenotazione in se permette di catturare moltissimi aspetti della user experience, senza sovra-pesare le prenotazioni piu’ costose piuttosto che le piu’ lunghe. Il punto e’ che la prenotazione in se e’ un proxy della loyalty futura, quindi guadagnare di piu’ nel breve periodo a scapito del futuro non e’ una buona idea.
Tempo speso dall’utente e’ sicuramente una metrica che si puo’ considerare ma e’ difficile da interpretare. In teoria vorremo minimizzare questo tempo il piu’ possibile, cosi da rendere la booking experience piu’ semplice possibile. D’altro canto se lasciando piu’ tempo per decidere all’utente alla fine permettiamo una prenotazione piu’ consapevole e quindi una customer experience finale migliore forse minimizzare il tempo non e’ la scelta migliore?
Spero di aver risposto!