North Star Metric: come sceglierla correttamente

In questo post parleremo della scelta della North Star Metric, ovvero quella metrica fondamentale da seguire durante lo sviluppo del prodotto. Abbiamo già introdotto la North Star Metric in altri post. In una frase la North Star Metric è la metrica principale e fondamentale per valutare ogni esperimento e l’andamento generale del prodotto. In questo post vogliamo focalizzarci sugli aspetti principali nella scelta della metrica, a cosa fare attenzione ed in particolare come bilanciare una scelta di breve periodo ad una di lungo periodo. 

Alla fine di questo post avrai imparato:

• Come scegliere efficacemente una North Star Metric
• Come fare una scelta che bilanci correttamente breve  e lungo periodo
• Quali sono esempi di North Star Metrics efficaci delle maggiori aziende tech

Fattori di cui tenere conto per la scelta della North Start Metric

La scelta della North Star Metric è fondamentale per lo sviluppo di prodotto. Questa scelta ci consente di avere una metrica singola da considerare durante l’ottimizzazione e l’iterazione del prodotto. Ci consente di capire in ogni momento se stiamo andando verso la giusta direzione o meno. La metrica dunque deve soddisfare questi due principali criteri:

• Deve poter essere usata per prendere decisioni sul breve periodo, in particolare per decidere se considerare un esperimento positivo o meno.
• Deve garantire che l’ottimizzare secondo questa metrica sia consistente con il progetto di lungo periodo per il prodotto.

Quindi riassumendo: la North Star Metric deve essere misurabile nel breve periodo ed al contempo avere un rapporto causale diretto con l’effetto di lungo periodo sul prodotto. Questi due criteri possono sembrare quasi opposti e rappresentare interessi contrastanti, e talvolta lo sono. 

Il problema dipende dal fatto che nel breve periodo gli effetti più evidenti e quindi facilmente misurabili sono quelli sui ricavi. D’altro canto, è molto difficile vedere effetti nella user experience o nella possibile retention, che solitamente impiegano mesi ad esser misurati correttamente. Se non si tiene conto di entrambi i fattori rischiamo di non avere una metrica affidabile o che ci porti nella direzione sbagliata. 

Vediamo ora quali possono essere i problemi focalizzandosi solo in una delle due direzioni.

Perché non focalizzarsi solo sul lungo periodo?

Idealmente se potessimo trovare una metrica perfetta per il prodotto sul lungo periodo tutti i nostri problemi sarebbero risolti. Il problema in questo caso è che solitamente metriche di lungo periodo necessitano di lunghi periodi di dati per essere calcolate.

Ci sono altri metodi per calcolare il Customer Lifetime Value.

Ad esempio si può fare un’analisi del passato. Ovvero, prendendo una definizione limitata nel tempo di CLV. Ad esempio considerando il Customer Lifetime Value durante il primo anno dalla registrazione. Selezionando quindi diversi momenti nel passato possiamo vedere come questa metrica sia evoluta nel passato e in particolare se sia aumentata, come vorremmo. Questa pratica è interessante e viene spesso eseguita. Tuttavia, non essendo possibile usare queste informazioni durante un esperimento questa metrica non ci consente di prendere decisioni singole ogni giorno, quindi non può essere usato come NSM.

Un altro possibile approccio per il calcolo del CLV è utilizzare algoritmi di machine learning per predire il CLV nel futuro. In questo caso, ipotizzando di avere un buon modello di predizione, potremo usare le predizioni di questo modello come metrica per i nostri esperimenti. Tuttavia questa pratica è sconsigliata poiché spesso i modelli di machine learning sono di difficile interpretazione. Inoltre, la buona capacità predittiva per il passato non garantisce una buona predizione nel futuro, particolarmente nel caso in cui il prodotto su cui si fa una previsione cambia, ovvero il caso tipico durante gli esperimenti!

L’errore più frequente: focalizzarsi sul breve periodo

L’errore più frequente che si può compiere nella scelta di una NSM è concentrarsi su una metrica che sia troppo focalizzata sul breve periodo senza garantire una correlazione positiva col lungo periodo. Quello che può succedere, infatti, è che una metrica del genere sia positiva ma abbia riscontri negativi sul lungo termine. 

Esempio: metrica di revenue

Un esempio comune di metrica è prendere la revenue, ovvero considerare il profitto di un prodotto e massimizzarlo. Questo in teoria è lo scopo ultimo di ogni prodotto, generare valore per l’utente che a sua volta generà profitto per l’azienda. Se questa metrica in un primo momento può sembrare sensata ed efficace ci sono molti motivi per cui può portare a prendere decisioni decisamente sbagliate. Questo dipende principalmente dal fatto che fare una scelta di mero profitto può portare molto spesso a dimenticare l’utente, o peggio, a prendere decisioni a suo sfavore. Vediamo alcuni esempi pratici.

• Pensiamo ad esempio al caso in cui Amazon decidesse di fare un esperimento aumentando tutti i suoi prezzi. Questo sul breve periodo aumenterebbe sicuramente i ricavi. Amazon tuttavia promette selezione, prezzi bassi e convenienza agli utenti e in questo modo questa promessa verrebbe infranta. Sul lungo periodo è molto probabile che la decisione porterebbe ad una perdita di utenti e quindi di ricavi.
• Prendiamo il caso di un motore di ricerca come Google che decidesse di aumentare i suoi profitti inserendo solamente inserzioni pubblicitarie. Questo porterebbe sicuramente ad un aumento dei ricavi! Tuttavia, molto probabilmente, porterà anche ad una pessima user experience per gli utenti ed ad una degradazione della qualità dei risultati di ricerca.

In generale quindi una buona NSM è quella che ci permette di tenere in considerazione le esigenze e la salute del prodotto, ma al contempo quelle dell’utente finale.

Come trovare il giusto compromesso?

Trovare il giusto compromesso è la domanda da un milione di dollari! E’ anche la soluzione che veramente ci porta ad avere una scelta vincente.

Vediamo un esempio concreto di generazione di una North Star Metric.

Un esempio concreto di North Star Metric: un prodotto per prenotare camere d’albergo

Un prodotto per prenotare camere d’albergo è un marketplace in cui si incontrano una domanda e un’offerta (di camere). Il fine ultimo del prodotto è generare profitto tramite una commissione pagata dall’albergo e/o dall’utente. E’ chiaro però che se utilizzassimo la revenue totale come indicatore di successo del prodotto questo potrebbe facilmente portarci a prendere decisioni sbagliate. Ad esempio privilegiare solamente alberghi costosi o pernottamenti lunghi, portando quindi ad ottimizzare il nostro prodotto in queste direzioni. Queste però non sono necessariamente in linea con i bisogni dell’utenza. Quindi falliremo nel generare valore per l’utente!

Una metrica che è molto più utile in questo caso è considerare ogni prenotazione in modo equivalente. Questa scelta ci permette sostanzialmente di pesare in modo simili l’acquisizione di una vasta gamma di strutture differenti, dagli appartamenti agli alberghi di lusso, e tutti i tipi di potenziali clienti, da chi cerca l’ostello a chi vuole la suite presidenziale. 

Questa scelta allo stesso tempo ci da anche una concreta misura sullo stato di salute del nostro marketplace. Ci indica infatti se vi è una crescita generale o meno, da ambo i lati.

Ecco ora alcuni esempi del procedimento di scelta per la North Star Metric

Esempi di North Star Metric

• Zoom: weekly hosted meetings. Notiamo che in questo caso il focus è sul numero di eventi, e quindi la crescita della piattaforma. Non viene scelto ad esempio una metrica legata alla revenue come il numero di utenti paganti
• Spotify: time spent listening. Ancora una volta il focus è sull’utente e il beneficio che esso trae dal prodotto, senza guardare alla componente economica. 
• Medium: total reading time. Una scelta molto simile a Spotify
• Facebook: monthly active users. Questa scelta permette di focalizzarsi sullo sviluppo di un prodotto che spinga gli utenti ad il suo utilizzo trasformandolo in un’”abitudine”.

Conclusioni

In conclusione la scelta della North Star Metric è fondamentale per avere una guida stabile e solida da seguire durante lo sviluppo del prodotto. Il problema fondamentale nella scelta di questa metrica è trovare il giusto bilanciamento tra la possibilità di misurarla facilmente in brevi esperimenti ed avere una correlazione col successo del prodotto sul lungo periodo. Per questo un aspetto fondamentale da tenere sempre presente è il valore generato per l’utente. Scegliendo una metrica che sia in grado di catturare questo aspetto avremo grandi possibilità di successo!