Gennaio 9, 2020 - di Simone Congiu
A/B test e sperimentazione sono due termini molto in voga nelle community di Product.
Tuttavia, per le startup che sono pronte a migliorare il conversion rate, perché hanno trovato il proprio product-market fit, non è facile capire come iniziare.
In questo articolo, racconterò di come siamo passati da lanciare un solo A/B test (nel 2019) agli attuali due a settimana.
Eccoti una panoramica di cosa leggerai:
Quando ho iniziato a lavorare come Growth Product Manager, la pressione in azienda per iniziare a lanciare A/B test era molto alta.
Fortunatamente, il management era molto interessato all’A/B testing, perciò la sfida non era convincere il resto dell’azienda a lanciare esperimenti, ma capire come attuarli.
Prima di iniziare a testare, volevo essere sicuro di avere delle risposte definitive ai seguenti punti:
Avendo constatato che ancora mancavano risposte chiare a questi punti, io e il mio team abbiamo passato i mesi successivi a risolvere questi problemi.
All’inizio, il Product Growth Team era formato solamente da me, una Product Designer e uno sviluppatore.
Pur essendo limitati, in termini di risorse, questo ci ha dato l’opportunità di concentrarci esclusivamente su come risolvere i punti descritti in maniera efficiente.
Il mio consiglio è di creare un team simile, che agisca come una task force, unicamente concentrato su questo progetto.
L’obiettivo del nostro team è aumentare il numero di utenti registrati, agendo sul conversion rate fra Install e Registration.
La nostra app, che si occupa di dichiarazioni delle tasse, prevede una decina di domande prima che l’utente possa creare un account, non potendo supportare tutti i casi.
Ad esempio, un utente che svolge la professione di freelance, non può ancora usare la nostra app per dichiarare le proprie tasse.
Il Registration flow è piuttosto lungo, e quindi le possibilità di sono molteplici.
Quando abbiamo cominciato a pensare a come avremmo potuto migliorare questo rate, avevamo svariate ipotesi, ma nessuna di queste era stata valutata tramite user research.
Come primo passo, quindi, abbiamo organizzato una sessione di user research per capire quali problemi si riscontrassero nell’acquisition funnel della nostra app.
La ricerca ha prodotto risultati concreti e abbiamo potuto individuare trend nelle risposte, utili per creare una prima lista di ipotesi.
Il primo passo che abbiamo compiuto è stato creare un template, su come scrivere le ipotesi sulle quali lavorare, da condividere con il resto dell’azienda:
Abbiamo documentato le ipotesi seguendo questo template, ma ancora non era chiaro da quale A/B test saremmo dovuti partire.
Abbiamo deciso di utilizzare una variante del RICE Score model per classificare le ipotesi:
A questi, per la natura frammentata del nostro prodotto che ha diversi drop prima della registrazione, abbiamo deciso di aggiungere un ulteriore criterio:
E utilizziamo questa formula per prioritizzare:
Nel nostro esempio, il punteggio ottenuto dalla ipotesi sarebbe 2,52.
(Avremmo potuto utilizzare anche l’lCE Score, un’altra metodologia per definire le priorità durante lo sviluppo di un prodotto digitale).
Dopo aver definito la lista delle ipotesi su cui concentrarci, abbiamo lavorato su dei prototipi da testare con degli utenti per ricevere feedback e attuare miglioramenti.
Dopo settimane di lavoro preliminare, per decidere su cosa concentrarci, il design del primo A/B test era finalmente pronto per essere testato.
Tuttavia, purtroppo, l’infrastruttura su cui stavamo lavorando in parallelo ancora non era pronta e ciò ha causato un ritardo.
In parallelo, abbiamo stilato una serie di criteri per classificare le varie opzioni che il mercato offre per lanciare A/B test:
Integrazione con Database: la mobile app è complessa e contiene centinaia di eventi, utilizzati per formulare i KPI.
Abbiamo ritenuto necessario scegliere un tool che ci permettesse di utilizzare questi eventi per decretare il successo di un A/B test;
Dopo aver classificato le varie opzioni seguendo questi criteri, abbiamo deciso di utilizzare Firebase.
Firebase è una piattaforma sviluppata da Google che offre numerosi servizi per lo sviluppo di mobile applications.
Tra i tanti:
Inoltre, negli ultimi anni hanno lavorato allo sviluppo di una piattaforma di A/B testing, il tool che abbiamo deciso di adottare.
Abbiamo passato le settimane successive ad implementare Firebase e a testare se funzionasse tramite A/A test, ovvero un esperimento in cui le varianti sono identiche.
L’obiettivo di un A/A test è certificare l’accuratezza dei risultati prodotti dal tool, poiché le due varianti sono identiche, alla fine dell’esperimento, la differenza tra i due conversion rate non dovrebbe essere significativa.
Questa fase è stata più complicata del previsto, per vari problemi durante la fase di A/A testing che hanno ritardato il lancio del primo esperimento.
Finalmente, dopo mesi di user research e lavoro sull’infrastruttura, abbiamo iniziato il primo A/B test.
Il primo A/B test ha prodotto i risultati sperati, migliorando il Registration rate in modo significativo.
Nelle prime settimane del 2020, il team si è ingrandito a seguito dell’assunzione di due sviluppatori. Grazie all’ aggiunta di nuove risorse e al lavoro svolto in precedenza, siamo passati da lanciare un solo A/B test durante il 2019, a due alla settimana.
È stato importante investire per avere più risorse nel team, poiché la task force iniziale non sarebbe stata capace di supportare questo carico di lavoro.
Le sfide che abbiamo adesso sono molto diverse rispetto a quelle di dieci mesi fa: stiamo lavorando sul creare un processo per cui diversi team possono lanciare A/B test in parallelo e prioritizzare correttamente.
Il nostro obiettivo di lungo termine è avere l’infrastruttura e le abilità per lanciare contemporaneamente multipli A/B test.
Spero che l’articolo possa essere stimolante e utile per startup e Product Manager interessati all’A/B testing.
Sono curioso di sapere quali sono state le vostre esperienze, lasciate un commento!
Dopo aver viaggiato per diverse capitali europee per motivi di studio, negli ultimi due anni mi sono definitivamente trasferito a Berlino dove lavoro da Senior Product Manager da Taxfix, in cui mi occupo principalmente di Product Growth.
Le slide sono disponibili per studenti ed ex studenti del Master in Product Management
One reply on “Come fare un A/B Test, prioritizzare le ipotesi, e scegliere il tool giusto”
Fabrizio
Ciao Simo,
grazie per la condivisione, sto cercando di portare A/B test anche nella mia organizzazione.
Se hai tempo posso condividere le mie problematiche