Marzo 9, 2020 Author: Simone Congiu
A/B testing e sperimentazione sono due termini molto in voga adesso nelle community di Product. Per startup che hanno trovato product-market fit e sono pronte a migliorare i conversion rate, tuttavia, non è facile capire come iniziare. In questo articolo, parlerò di come siamo passati da lanciare un solo A/B test nel 2019, ai due attuali a settimana.
Ecco cosa troverai:
– A quale punto iniziare a lanciare A/B test?
– Come scegliere il primo A/B test?
– Come scegliere il tool per A/B test?
– Conclusione
Quando ho iniziato a lavorare come Growth Product Manager, la pressione in azienda per iniziare a lanciare A/B test era molto alta. Fortunatamente, il management era molto interessato all’ A/B testing, perciò le sfida non era convincere il resto dell’azienda a lanciare esperimenti, ma capire come lanciarli.
Prima di iniziare a testare, volevo essere sicuro di avere delle risposte definitive ai seguenti punti:
Avendo constatato che ancora mancavano risposte chiare a questi punti, io e il mio team abbiamo passato i mesi successivi a risolvere questi problemi.
Il Product Growth team all’inizio era formato solamente da me, una Product Designer e uno sviluppatore. Pur essendo limitati in termini di risorse, questo ci ha dato l’opportunità di essere concentrati esclusivamente su come risolvere i punti descritti in maniera efficiente.
Il mio consiglio è di creare un team simile che agisca come una task force, unicamente concentrato su questo progetto.
L’obiettivo del nostro team è aumentare il numero di utenti registrati, agendo sul conversion rate fra Install e Registration. La nostra app, che si occupa di dichiarazioni delle tasse, prevede una decina di domande prima che l’utente possa creare un account, non potendo supportare tutti i casi. Ad esempio, un utente che svolge come professione il freelancer, ancora non può usare la nostra app per dichiarare le proprie tasse. Il Registration flow è piuttosto lungo, e quindi le possibilità di ottimizzazione sono molteplici.
Quando abbiamo iniziato a pensare a come potessimo migliorare questo rate, avevamo svariate ipotesi, ma nessuna di queste valutata tramite user research. Come primo passo abbiamo quindi organizzato una sessione di user research per capire quali problemi riscontrassero nell’ acquisition funnel della nostra app.
La ricerca ha prodotto risultati concreti e abbiamo potuto individuare trend nelle risposte, utili per creare una prima lista di ipotesi.
Come primo passo, abbiamo creato un template su come scrivere le ipotesi su cui lavorare, da condividere con il resto dell’azienda:
Abbiamo documentato le ipotesi seguendo questo template, ma a questo punto ancora non era con chiaro quale A/B test saremmo dovuti partire. Abbiamo deciso di utilizzare una variante del RICE Score model per classificare le ipotesi:
A questi, per la natura frammentata del nostro prodotto che ha diversi drop prima della registrazione, abbiamo deciso di aggiungere un ulteriore criterio:
E utilizziamo questa formula per prioritizzare:
Nel nostro esempio, il punteggio ottenuto dalla ipotesi sarebbe 2,52. Il risultato finale è stato il seguente documento, con una lista di ipotesi ordinate per punteggio:
Dopo aver definito la lista delle ipotesi su cui concentrarci, abbiamo lavorato su dei prototipi da testare con degli utenti per ricevere feedback e attuare miglioramenti.
Dopo settimane di lavoro preliminare per decidere su cosa concentrarci, il design del primo A/B test era finalmente pronto ad essere testato. A questo punto, purtroppo, l’infrastruttura su cui stavamo lavorando in parallelo ancora non era pronta e ciò ha causato un ritardo.
In parallelo, abbiamo iniziato stilato una serie di criteri per classificare le varie opzioni che il mercato offre per lanciare A/B test:
Dopo aver classificato le varie opzioni seguendo questi criteri, abbiamo deciso di utilizzare Firebase. Firebase è una piattaforma sviluppata da Google che offre numerosi servizi per lo sviluppo di mobile applications. Tra i tanti, semplifica l’hosting, la gestione dei dati provenienti dall’app e l’autenticazione degli utenti. Inoltre, negli ultimi anni hanno lavorato allo sviluppo di una piattaforma di A/B testing, il tool che abbiamo deciso di adottare.
Abbiamo passato le settimane successive ad implementare Firebase e a testare se funzionasse tramite A/A test, ovvero un esperimento in cui le varianti sono identiche. L’obiettivo di un A/A test è certificare l’ accuratezza dei risultati prodotti dal tool. Poiché le due varianti sono identiche, alla fine dell’esperimento la differenza tra i due conversion rate non dovrebbe essere significativa.
Questa fase è stata più complicata del previsto, per vari problemi durante la fase di A/A testing che hanno ritardato il lancio del primo esperimento. Finalmente, dopo mesi di user research e lavoro sull’infrastruttura, abbiamo iniziato il primo A/B test.
Il primo A/B test ha prodotto i risultati sperati, migliorando il Registration rate in modo significativo.
Nelle prime settimane del 2020, il team si è ingrandito a seguito dell’assunzione di due sviluppatori. Grazie all’ aggiunta di nuove risorse e al lavoro svolto in precedenza, siamo passati da lanciare un solo A/B test durante il 2019, a due alla settimana. È stato importante investire più risorse nel team, poiché la task force iniziale non sarebbe stata capace di supportare questo carico di lavoro.
Le sfide che abbiamo adesso sono molto diverse rispetto a quella di dieci mesi fa. Stiamo lavorando su creare un processo per cui diversi team possono lanciare A/B test in parallelo, e prioritizzare correttamente. Il nostro obbiettivo di lungo termine è avere l’ infrastruttura e le abilità per lanciare contemporaneamente multipli A/B test.
Spero che l’ articolo sia interessante e utile per startup e Product Manager interessati a iniziare a lanciare A/B test. Sono curioso di sapere quali sono state le vostre esperienze, lasciate un commento!
Dopo aver viaggiato per diverse capitali europee per motivi di studio, negli ultimi due anni mi sono definitivamente trasferito a Berlino dove lavoro da Senior Product Manager da Taxfix, in cui mi occupo principalmente di Product Growth.
Una mail ogni Martedì alle 7.00 a.m., per ricevere in anteprima i migliori contenuti sul Product Management.
Le slide sono disponibili per studenti ed ex studenti del Master in Product Management
One reply on “Come siamo passati da lanciare un A/B test in un anno, a due alla settimana?”
Fabrizio
Ciao Simo,
grazie per la condivisione, sto cercando di portare A/B test anche nella mia organizzazione.
Se hai tempo posso condividere le mie problematiche