Luglio 6, 2020 - di Giacomo Giorgianni
In questo articolo ti parlerò delle principali tipologie di Usability Test e successivamente ti racconterò le fasi di una metodologia di Usability Test moderato che ho avuto modo di sperimentare in prima persona.
Ti racconterò quindi della mia esperienza diretta e degli strumenti che ho utilizzato e dei risultati.
Questo articolo fa parte della serie relativa alla User Research. Se non lo hai già fatto, ti consiglio di dare un’occhiata al mio articolo introduttivo.
Il post è abbastanza lungo, per cui se sei di fretta puoi scaricarlo in PDF accedendo alle risorse gratuite da qui.
Se hai già scaricato tutte le risorse gratuite troverai il file direttamente nella cartella condivisa 😉
Essere customer-centric significa riuscire a capire i gusti dei nostri utenti attuali e potenziali e adattare il nostro prodotto in maniera adeguata.
Per farlo, abbiamo svariati tipi di strumenti, tra cui: A/B Test, Customer Survey e Usability Test.
Attraverso quest’ultimo strumento possiamo osservare come un utente utilizza il nostro prodotto in autonomia, mediante una serie di task preimpostati da portare a termine. L’obiettivo finale é quello di valutarne l’esperienza.
Esistono diverse forme e modalità per effettuare uno Usability Test.
Se ne hai la possibilità, potresti incontrare i partecipanti di persona, invitandoli presso la tua azienda o altrove, ed effettuare il test faccia a faccia.
In alternativa, puoi chiedere ai partecipanti di effettuare il test online da remoto, da casa o in un contesto naturale, utilizzando una delle tante piattaforme presenti sul mercato (vedi Usertesting).
É possibile che il test si svolga in presenza di un moderatore (Usability Test Moderato) oppure che il partecipante svolga il test in differita e autonomamente (Usability Test non moderato).
Nel caso del test moderato, il moderatore dà una direzione al partecipante e descrive in diretta lo scenario e i task da effettuare, osservandone le reazioni e l’esecuzione.
In questo caso abbiamo la possibilità di dialogare con il partecipante e approfondire eventuali comportamenti inattesi.
In uno Usability Test non moderato il partecipante esegue una serie di task che gli vengono comunicati, solitamente, in forma scritta.
L’analisi dell’esecuzione da parte del ricercatore avviene in un secondo momento.
Solitamente, l’esecuzione di questa tipologia di test é piú rapida per il partecipante e piú scalabile per l’azienda, in quanto richiede meno risorse dedicate, ad esempio, alla moderazione del test.
Ciononostante ha un perimetro circoscritto, che non ci consente di spaziare più di tanto.
Un test di usabilità é adatto quando vuoi validare dei dubbi circa l’esperienza che l’utente ha con il tuo prodotto, e capire quali problemi riscontra.
A prescindere dalla tipologia, un test viene sempre effettuato con un determinato obiettivo e ha dei vincoli specifici che dipendono da fattori come risorse a disposizione e tipologia di business.
In particolare, se i tuoi dubbi sono ciroscritti ad una particolare area del prodotto, potresti preferire uno test non moderato.
Se invece sei in una fase piú esplorativa, in cui devi approfondire diversi aspetti dell’esperienza in un contesto piú ampio, un test moderato potrebbe essere piú adatto.
In questo secondo caso, avrai la possibilità di dialogare con l’utente e ottenere feedback che non potresti ottenere con un test non moderato. Tuttavia dovrai tenere conto anche di un effort maggiore.
In questo articolo voglio concentrarmi sugli Usability test moderati da remoto.
Ti racconterò la mia esperienza e ti parlerò della metodologia e degli step che ho seguito, gli attori coinvolti e gli strumenti che ho utilizzato.
Ciononostante, un setup adeguato e alla base di ogni tipo di Usability Test e molti dei principi di cui parleró prescindono dalla tipologia di Usability Test.
Pertanto, se l’argomento ti interessa, ti consiglio di continuare la lettura.
La pratica di effettuare Usability test moderati da remoto sta diventando sempre piú diffusa grazie a tecnologie e servizi abilitanti, che li semplificano.
Infatti, un test moderato da remoto é un ottimo modo accedere ad un panel di partecipanti più ampio o quando non hai uno spazio adatto.
Inoltre potrai risparmiare sui costi da rimborsare ai partecipanti poichè questi non dovranno fisicamente recarsi in un altro luogo.
E tutto senza un particolare perdita di qualità ed efficacia del test.
Questi sono alcuni dei motivi per cui abbiamo deciso di effettuare un test da remoto per capire come risolvere uno dei problemi identificati a partire dai nostri OKR.
L’obiettivo del mio team per il 2020, infatti, è quello di di incrementare le acquisizioni organiche e rendere più accessibile il contenuto informativo di alcune pagine relative a prodotti trending. Qui trovi un esempio relativo all’ iPhone 11.
Abbiamo quindi identificato come possibile soluzione una sorta di indice dei contenuti che reindirizzasse l’utente, direttamente al contenuto selezionato.
Tuttavia, non eravamo sicuri che l’utente l’avrebbe notata né che l’avrebbe utilizzata nel modo corretto.
Abbiamo quindi deciso di testare la nostra soluzione prima di passare all’implementazione.
La metodologia che abbiamo seguito prevede alcune fasi:
Vediamole insieme una per una.
Come in ogni cosa che si rispetti, anche l’esecuzione di un test di Usabilitá richiede pianificazione.
Diamo per scontato che tu abbia giá provveduto a definire con gli stakeholder che un test di usabilitá sia lo strumento migliore per il tipo di ricerca che hai in mente.
Adesso, devi definire sia l’obiettivo principale del test che, se esistono, gli obiettivi secondari.
Solo una volta che li avrai definiti, ti sará anche chiaro qual é il tipo di partecipante con cui vuoi eseguire il test.
Utenti che conoscono la tua piattaforma ma non la utilizzano? Oppure Utenti che non ne hanno mai sentito parlare?
Che etá devono avere i partecipanti?
Quali competenze e background?
Insomma, dovrai costruire la tua UX Test Persona.
Successivamente Identifica le metriche o i comportamenti che vorrai monitorare con questo studio e quali potrebbero essere eventuali altri side learning attesi.
Quindi dovrai farti un’idea di quali tool ti serviranno per portare a termine il test e, se richiesto, fare una stima dei costi per dare solidità.
Per finire devi capire chi sono gli attori interni che ti supporteranno durante l’attivitá:
Fai una pianificazione delle attivitá ad alto livello e allinea gli stakeholder identificati.Adesso, puoi finalmente partire con la realizzazione del materiale che ti servirá per condurre il test, procedendo quindi alla fase di Setup.
Nel nostro caso l’obiettivo principale era abbastanza lineare.
Volevamo introdurre una nuova funzionalitá, la Table of Content (ToC), su una pagina specifica e dovevamo capire se gli utenti l’avrebbero notata, compresa e utilizzata propriamente.
Piú in generale, volevamo anche rivedere la struttura della pagina relativa ai prodotti.
Quindi, il nostro obiettivo secondario era quello di capire se la disposizione delle informazioni fosse ottimale o se gli utenti avessero difficoltá ad inquadrare il contenuto della pagina.
Date le premesse, abbiamo deciso di effettuare uno Usability Test moderato da remoto e di utilizzare il tool Lookback per l’esecuzione.
Avremmo testato soltanto la versione Web Mobile, in quanto piú in linea con la nostra strategia mobile-first.
Per completezza, successivamente abbiamo effettuato un Test anche per la versione Desktop.
Ci siamo dati un orizzonte temporale di circa due settimane per un totale di 10 utenti, un numero ritenuto abbondantemente sufficiente per uno Usability Test.
La nostra persona era attualmente residente in UK, con un Inglese fluente, avvezza agli acquisti online e non conosceva il nostro servizio.
Infatti, l’80% del traffico che arriva in questa pagina é organico, e ci arriva dal motore di ricerca a seguito della ricerca di informazioni relative al prodotto.
Questi visitatori non conoscono il nostro servizio, così come i partecipanti richiesti per questo test.
Nell’identificazione della persona e delle decisioni iniziali sono stato supportato dal nostro SEO Manager e dal Designer del mio team.
Per concludere, ho realizzato un one-pager riassuntivo che ho condiviso con: Head of Product, Head of Design, SEO Manager, Marketing Manager e con il mio team di prodotto.
Solitamente, organizzo un breve meeting per chiarire punti dubbi ma in questo caso non é stato necessario.
Tempo di esecuzione: Circa mezza giornata
Tool utilizzati: Google Doc e Google Spreadsheet
Nella prima fase hai definito obiettivi, tempistiche, strumenti e attori.
Adesso è il momento di realizzare il materiale necessario ad una fluida esecuzione del test.
Analizziamo subito il caso più complesso e supponiamo che tu voglia testare una funzionalitá non ancora implementata sul tuo sito o sulla tua app. In questo caso, ti serviranno due strumenti: un prototipo della funzionalitá e uno script.
Il prototipo é una versione fittizia del tuo prodotto su cui imitare il comportamento della nuova funzionalità da integrare, in modo piú o meno accurato.
Pertanto non sará necessario se vuoi valutare l’usabilitá del tuo sito o di parti giá esistenti.
Viene generalmente sviluppato da un designer utilizzando strumenti di Sketching come inVision, Sketch o Adobe XD.
Esistono peró strumenti piú semplici per realizzare dei prototipi “fai da te”.
La mia esperienza diretta sulla prototipazione si limita a qualche mockup su Balsamiq e ho sempre lasciato la realizzazione dei prototipi ai miei colleghi designer.
Tuttavia, ci sono due consigli che voglio condividere con te:
Se vuoi approfondire l’argomento e mastichi l’inglese, ti consiglio di dare un’occhiata ai corsi del sito interactiondesign.org.
Il loro articolo sulle basi del prototyping, potrebbe essere un buon punto di partenza.
Lo script é un documento in cui scrivere esattamente ció che dirai all’utente durante il test e ciò che gli chiederai di fare, task dopo task.
Sará la tua bussola durante la moderazione.
Lo script é generalmente diviso in 3 parti:
Sembra banale ma ti assicuro che fare le domande sbagliate é veramente facile.
La regola generale é di ridurre al minimo il bias cognitivo generato dalle domande nella mente dell’interlocutore.
Di seguito troverai alcuni esempi che secondo me dovresti evitare e che valgono per tutti i tipi di interviste con gli utenti:
In merito all’ultimo punto ti invito a leggere The Mom Test, di Rob Fitzpatrick. L’ho trovato molto pratico e illuminante.
Se invece vuoi approfondire il tema sulla stesura di uno script ti consiglio di dare un’occhiata a questo articolo (in inglese).
Una volta realizzato il materiale necessario dovrai testare lo script, con uno o più amici o colleghi.
Dovrai simulare un vero e proprio test di usabilitá, con l’obiettivo di validare la durata del test stesso, la correttezza del prototipo e la chiarezza e consistenza dello script.
Infatti, é assolutamente sconsigliato cambiare il contenuto dello script o del prototipo in corso d’opera, tra un test e l’altro, con partecipanti veri.
Inoltre, testare lo script, ti permette di prendere familiaritá con il testo e con gli eventuali tool che utilizzerai.
Tieni a mente che più i tuoi partecipanti interni sono simili alla Persona che hai identificato, più rilevante sarà il risultato.
Il prototipo é stato realizzato interamente dal designer con cui mi confrontavo frequentemente per eventuali aggiustamenti.
Ha utilizzato gli screenshot di una pagina prodotto esistente e ha aggiunto la funzionalitá della Table of Content, utilizzando Framer.
Una delle difficoltá principali é stata quella di simulare uno sticky header, un comportamento particolare in cui questa si sostituiva all’header principale.
In questo caso però, era necessario perché volevamo capire se queste avrebbe creato qualche frizione all’utente.
Tempo di esecuzione: Un paio di giornate
Tool utilizzati: Figma, Codepen.io, Framer
Siamo partiti da un template interno, precedentemente utilizzato in un altro Usability test moderato, e lo abbiamo adattato alle nostre esigenze.
Le sezioni Warm-Up e Cool-Down sono abbastanza standard e non hanno richiesto particolari modifiche.
La sezione centrale, relativa ai task ha invece richiesto modifiche sostanziali.
Abbiamo diviso questa sezione in due parti.
La prima parte era strettamente mirata a capire 3 punti:
Riprendendo quanto prima sulle azioni piú che intenzioni, voglio farti un esempio relativo all’ultimo punto.
Per fare questa valutazione, infatti, abbiamo creato due task che facessero saltare il partecipante da un contenuto all’altro e abbiamo analizzato se questi lo facesse utilizzando la Table of Content o tramite semplice scrolling.
Molto piú efficace che chiedere: “Ti piace la barra dei contenuti? La useresti?”. No?
Nella seconda parte volevamo capire se una specifica sezione giá esistente ricordasse un ad.
Abbiamo chiesto al partecipante di eseguire una serie di azioni che lo inducessero a passarci sopra e ne abbiamo valutato l’interazione.
Gli abbiamo quindi chiesto le sue impressioni e cosa si aspettasse che succedesse, cliccandoci sopra.
🚨 Spoiler Alert 🚨: Alcuni dei partecipanti hanno spontaneamente dichiarato che credevano fosse “pubblicità”.
Tempo di esecuzione: Circa mezza giornata
Tool utilizzati: Google Doc e Google Spreadsheet
Infine abbiamo testato lo script internamente con 3 partecipanti. Due di essi erano colleghi dell’area HR e Finance, “distanti” dal prodotto e quindi meno soggetti a bias cognitivi.
Giá durante la simulazione abbiamo preferito essere in due, in modo che una potesse condurre il test e prendere familiaritá mentre l’altro potesse prendere appunti su ciò che andava rivisto.
Per darti un’idea di quanto sia importante, ogni singola simulazione ci ha portato a rivedere lo script.
Alla fine abbiamo rimosso alcuni task per ridurne la durata complessiva.
Tempo di esecuzione: una giornata, inclusa la review
Tool utilizzati: Google Doc, Google Spreadsheet, Lookback.io
Finalmente é arrivato il momento di condurre il test vero e proprio… Ma prima ti servono dei partecipanti!
In questa sezione, vedremo alcune strategie per reclutare e qualificare i partecipanti.
In particolare, voglio rispondere a due domande:
🚨 Spoiler alert 🚨: La risposta ad entrambe le domande é dipende.
E una discriminante é il fatto che i tuoi partecipanti debbano giá conoscere il tuo prodotto o meno.
Se i partecipanti possono o devono conoscere il tuo prodotto é semplice. Tutto quello che ti serve lo hai giá, ed é il tuo CRM o tool di Analytics.
Estrai da qui gli utenti che rispettano i requisiti della tua Persona e contattali, via telefono o mail, per invitarli al tuo test.
Probabilmente non serve che te lo dica ma assicurati di avere il consenso esplicito a contattarli!
Un’alternativa è quella di effettuare il recruiting direttamente all’interno della tua community.
Ad esempio, potresti postare un banner sul tuo sito o app.
Magari all’interno della pagina in cui vuoi effettuare il test, se vuoi assicurarti che il partecipante la conosca.
Se i partecipanti NON devono conoscere il tuo prodotto, hai un po’ meno controllo.
In questo caso il rischio di trovare utenti poco interessati al tuo prodotto o alla tua industry é maggiore rispetto al caso precedente.
E questo é un problema perché rischi di avere partecipanti poco motivati che falsano i risultati dello Usability test.
Purtroppo non e facile valutare la motivazione ma puoi servirti di un questionario di pre-screening a cui rimandare i potenziali candidati.
Ti suggerisco due strategie: una a basso costo e l’altra adatta a budget piú consistenti.
La prima strategia è la piú economica, banale e, purtroppo, anche la meno efficiente.
Si tratta di spammare un annuncio di recruiting all’interno di gruppi e pagine Facebook, o altri social, dove trovare utenti potenzialmente idonei.
Ad esempio, se il tuo prodotto é un servizio a domicilio di cibo per cani, é probabile che tu possa trovare qualche valido candidato in un gruppo di amanti degli animali.
Se hai un minimo di budget, valuta anche l’ipotesi di un’inserzione a pagamento per accelerare i tempi.
In entrambi i casi, rimanda i candidati al link con il tuo form di pre-screening per la qualificazione.
Successivamente contatta soltanto quelli idonei.
La seconda strategia é quella di rivolgerti ad un servizio di terze parti che fa questo mestiere.
É una soluzione decisamente piú efficiente e anche piú costosa.
Solitamente, ti basta fornire il numero di partecipanti necessario e le caratteristiche della Persona e loro si occuperanno delle attivitá di qualificazione e recruiting.
Successivamente sei autonomo nel concordare con il partecipante i dettagli relativi a luogo e ora per il test.
Personalmente conosco Usertesting, Testingtime e Respondent.
Gli ultimi due si occupano puramente di recruiting, Usertesting si occupa anche della gestione end-to-end di test non moderati.
Di questa categoria fanno parte anche Appquality, Userfeel, Applause ma non li ho mai utilizzati in prima persona.
I costi possono variare a seconda di diversi fattori.
Dipende ad esempio dalla tipologia di prodotto: É un prodotto B2C o B2B? É un prodotto “di massa” o di nicchia?
La risposta a queste domande puó incidere sui costi poiché presuppone tipologie di partecipanti con esigenze e aspettative diverse.
Nella mia esperienza, il costo per partecipante si aggira sui 60 Euro lordi per test di 30 minuti, quando ti rivolgi ad un servizio terzo.
Nel caso di recruiting autonomo, parliamo di circa 20-30 Euro lordi per un test della stessa durata.
La differenza sta, ovviamente, nell‘assenza di un intermediario e dei costi di gestione associati.
Per semplicità, consideriamo i costi delle risorse e dei tool, affogati nei costi aziendali.
Come ti avevo anticipato, la nostra Test Persona vive in UK, non conosce il servizio ed è avvezza agli acquisti online. Inoltre deve essere un deal hunter.
Inizialmente abbiamo provato con la strategia a basso costo.
Abbiamo ipotizzato di poter trovare candidati idonei in gruppi Facebook stile “Mercato dell’usato” e “Scambio di opinioni sui prodotti”.
Ne abbiamo identificati alcuni e quindi postato un invito a candidarsi al nostro test.
Il messaggio conteneva un link che rimandava ad una Survey fatta in Google Form, per qualificare i partecipanti.
All’interno della survey abbiamo chiesto se utilizzassero servizi per comparare prezzi e ottenere sconti. In caso affermativo, chiedevamo quali fossero.
In questo modo potevamo essere abbastanza sicuri che gli utenti fossero deal hunter ma non conoscessero il nostro prodotto.
La strategia si è rivelata abbastanza fallimentare.
Abbiamo avuto un tasso di risposta bassissimo e solo 3 utenti adatti.
Era il momento di velocizzare e quindi dare il recruiting dei partecipanti in outsourcing. Abbiamo scelto Testingtime.
Breve recensione:
La qualità dei partecipanti non é sempre stata eccellente e abbiamo dovuto invalidare più di un test.
Tuttavia, abbiamo apprezzato la disponibilità a trovare partecipanti alternativi e lo sconto in fattura.
Nota aggiuntiva
Per un altro test non moderato, abbiamo reclutato i nostri utenti con un banner posto all’interno della pagina in cui avremmo testato la nuova funzionalitá.
Il traffico era così parzialmente qualificato e lo abbiamo reindirizzato verso una survey di pre-screening adatta.
Tempo di esecuzione: circa una decina di ore, di cui:
Il 60% del tempo dedicato alla realizzazione del form, identificazione dei gruppi Facebook e “spamming”.
Il restante 40% dedicato allo scouting del servizio di recruiting e al coordinamento con Testingtime e con i partecipanti.
Tool utilizzati: Google Form, Testing Time, Calend.ly
Ci siamo! Hai uno script robusto, un prototipo funzionante e hai reclutato almeno un partecipante.
É il momento di iniziare con il test vero e proprio e in questo paragrafo condivideró alcune pillole per la moderazione dello Usability Test.
Durante l’esecuzione dei task osserva molto attentamente ciò che fa e dice l’utente.
Idealmente ci sono solo due outcome per un task: l’utente lo ha completato con successo oppure no.
Se vuoi essere piú flessibile puoi utilizzare una scala per indicare quanto l’utente sia andato vicino al completamento, o la relativa facilitá.
Purtroppo é difficile essere obiettivi, per cui personalmente preferisco il metodo binario, annotando la difficoltá di completamento.
Di seguito trovi gli accorgimenti che ritengo più importanti durante l’esecuzione dello Usability test moderato.
Qualche volta, un test può semplicemente andare male e l’unica cosa da fare è accettarlo.
Ad esempio, l’utente potrebbe non essere motivato a fare il test o non lo prende seriamente.
Altre volte il partecipante continua a farti complimenti sul prodotto o non verbalizza nonostante tu glielo ricordi.
O ancora, non riesce ad esprimersi correttamente perché magari non è fluente in quella lingua.
In tutti questi casi, non stai estraendo valore dal test e puoi anche considerare di interromperlo in anticipo.
Se hai utilizzato un servizio terzo per il recruiting, puoi rivalerti e richiedere un nuovo partecipante, ovviamente gratuito.
Puoi decidere di ridurre o annullare il compenso del partecipante ma ti consiglio di essere cauto nel farlo.
È comunque bene chiarirlo giá in fase di recruiting, in modo tale da avere solo partecipanti motivati.
Altre volte potresti avere problemi tecnici durante l’esecuzione del test.
Se il test é online, potrebbero esserci problemi dovuti alla connessione o il prototipo potrebbe non funzionare.
In quel caso chiedi la comprensione e pazienza del partecipante e prova a risolvere il problema seduta stante.
Se non riesci e sei impossibilitato ad effettuare il test, potresti sospendere la sessione ed invitare il partecipante a ripeterlo successivamente.
É buona norma ricompensare l’utente, proporzionalmente al tempo impiegato, anche per il test andato male per cause indipendenti da lui.
Durante i test abbiamo dovuto gestire due casi.
Nel primo test test abbiamo avuto problemi tecnici dovuti sia alla connessione che al prototipo non funzionante.
In questo caso abbiamo invitato la partecipante ad una sessione successiva, e le abbiamo comunque garantito la metá del compenso.
Nel secondo caso, uno degli utenti non era non era in grado di esprimersi sufficientemente in inglese.
Abbiamo interrotto il test in anticipo e richiesto un altro partecipante a Testing time.
Abbiamo effettuato tutti i test da remoto utilizzando Lookback.io, un tool che consente di effettuare uno usability test moderato online e quindi vedere sia l’utente che il suo dispositivo.
Ha una funzionalitá interessante che permette l’accesso in modalità view, affinché altri watcher, possano osservare il test da remoto.
Inoltre, offre al moderatore la possibilitá di interagire tramite chat con i watcher.
Io e il designer lo abbiamo utilizzato per comunicare al volo durante l’esecuzione.
Tutte le sessioni vengono salvate ed è possibile accedervi per la fase di review.
Tempo di esecuzione: Circa 12 ore con il supporto full time di un UX/UI designer
Abbiamo impiegato poco più di un’ora per ogni test, inclusi il setup e il debriefing finale. Tool utilizzati: Google Doc, Google Spreadsheet, Lookback.io
Bravo! Hai messo a frutto ciò che avevi realizzato e hai fatto provare il tuo prototipo ad almeno 5 utenti.
Adesso è arrivato il momento di rivedere gli appunti che hai preso e riguardare i video dell’esecuzione dello Usability test moderato, con molta attenzione.
So che devi bilanciare il tempo ma spesso capita di perdersi dettagli importanti che l’utente ci regala.
Rivedere i le registrazioni ti permette di cogliere piccole sfumature a cui adesso puoi fare attenzione e che possono darti insight importanti.
Porta tutte le risposte alle domande chiuse su uno Spreadsheet, in modo che i trend risultino evidenti. Ad esempio potresti utilizzare un grafico.
Per identificare pattern qualitativi segna ogni comportamento interessante che vedi per la prima volta.
Ogni volta che un altro utente mostra un comportamento simile aggiungi un “+1”.
Alcuni saranno comportamenti singolari mentre altri saranno pattern ricorrenti che potresti voler prioritizzare.
Ad esempio, immaginiamo che un PM di Facebook voglia migliorare la funzione del Post e quindi vuole capire come la utilizzano gli utenti.
Ipotizziamo che decida di fare uno Usability testing moderato con 10 utenti.
Durante il test, si accorge che alcuni utenti limitano l’accesso in visualizzazione al post, allo scopo di conservare link da riguardare successivamente.
Se lo fa un utente è un insight da annotare.
Quando diventano 3 o 4 diventa un pattern interessante.
A questo punto ti sarà più facile renderti conto di quali sono i punti di frizione per gli utenti ed avrai dei dati a supporto delle tue decisioni.
Se ad esempio vuoi semplificare l’esperienza utente ti puoi concentrare sui punti che fanno perdere più tempo.
Se invece devi massimizzare la retention ti puoi concentrare su quelli che avvengono con più frequenza.
In seguito all’ultima registrazione, abbiamo riorganizzato tutti i nostri appunti in un unico archivio su Google Drive.
Abbiamo fatto un merge dei nostri appunti e poi trasferito su uno Spreadsheet le risposte alle domande chiuse, aggiungendo eventuali note come commenti alla cella.
Anche per la review dei video, abbiamo utilizzato Lookback, che mantiene i le registrazioni delle sessioni.
Durante la fase di review, abbiamo validato un pattern ricorrente molto interessante.
All’interno della pagina su cui stavamo testando la nuova feature, l’utente può trovare deal relativi ad un prodotto specifico.
Per vari motivi, tra cui la SEO, mostriamo anche i deal scaduti e li coloriamo in maniera differente. L’utente può nasconderli utilizzando un filtro.
Tuttavia, piú volte ci siamo interrogati su come gestirli, ipotizzando che fossero incomprensibili e un fastidio per l’utente.
Nonostante non stessimo cercando la risposta in questo Usability Test moderato, gli utenti hanno spontaneamente capito che quei deal non erano più validi.
La cosa piú curiosa è che li trovavano anche interessanti!
La metaá degli utenti ha spontaneamente menzionato che l’informazione è rilevante perché gli permette di comparare i deal attualmente attivi con quelli precedenti.
Questo gli permette di valutare la bontà del prezzo attuale e aiutarlo nella scelta di acquistare subito oppure aspettare.
Per noi, questa informazione apre le porte ad infinite opportunità di miglioramento.
7 utenti su 10 si sono accorti dell’esistenza ma solo uno l’ha effettivamente utilizzata per navigare da un contenuto all’altro.
Gli altri utenti preferivano “scrollare” tra una sezione e l’altra e utilizzavano la ToC per capire che tipo di contenuto stessero leggendo.
Ne abbiamo dedotto che il design non rispondesse esattamente al bisogno che avevamo previsto ma avesse comunque una sua utilità.
Abbiamo quindi deciso di implementare un MVP senza ancoraggio agli specifici contenuti della pagina.
Per finire, abbiamo ipotizzato una serie di next step e confezionato una presentazione per condividere i risultati con gli stakeholder.
E questo ci porta all’ultima fase del nostro Usability Test moderato: la condivisione dei risultati.
Tempo di esecuzione: Circa 12 ore
Tool utilizzati: Lookback.io, Google Spreadsheet, Google Doc
In un successivo Usability Test non moderato, relativo ai cookie banner, abbiamo utilizzato un tool che voglio menzionare, Dovetail.
Dovetail ha parecchie feature interessanti come la trascrizione automatica del contenuto delle registrazioni dello Usability Test Moderato e la clusterizzazione dei finding.
Purtroppo non ho ancora avuto modo di testarlo sul campo in prima persona, ma ne avró presto l’opportunità. Quindi stay tuned perché potrei parlarne in uno dei miei prossimi articoli.
Adesso che tutte le tue scoperte sono in ordine, è importante condividerle con chi potrebbe trarne un vantaggio.
Tra questi, considera anche tuoi colleghi che non hanno impatti diretti ma possono comunque essere interessati.
Il mio consiglio é di creare 2 strumenti.
Il primo è un documento, una presentazione autoesplicativa o anche un meeting. Qualunque esso sia, ti consiglio di mantenerti su una struttura di questo tipo:
Questo documento é destinato ai tuoi stakeholder principali come Head of Product, Head of Design, Stakeholder di Business, altri Product Manager in aree affini o membri del tuo team
Il secondo strumento è una versione breve del precedente ed é destinato agli stakeholder interessati ma non strettamente coinvolti.
Un esempio potrebbe essere un onepager o un executive summary con una struttura simile al precedente.
I destinatari saranno, ad esempio, l’Head of Business, il CPO o i Product Manager che non insistono sulla tua porzione di prodotto.
Per condividere i risultati del nostro Usability Test moderato abbiamo creato un breve onepager e una presentazione di 35 slide. Quest’ultima conteneva:
Ti ricorda niente? 🙂
Per concludere, ho condiviso la presentazione con il mio team di prodotto, alcuni product manager, Head of Product e Design e con il SEO Manager.
Successivamente ho organizzato un meeting di 30 minuti per eventuali approfondimenti o domande.
A quanto pare, era giá tutto chiaro e in 20 minuti era finito.
Il onepager é andato all’Head of Content, al capo dell’area Marketing e al CPO che, fun fact, mi ha chiesto la versione estesa.
Tempo di esecuzione: circa una giornata
Tool utilizzati: Powerpoint
Ne avevo giá parlato nella mia introduzione alla User Research e a questo punto saraá chiaro anche a te: parlare con gli utenti è soltanto una delle fasi di uno Usability Test moderato.
Questo tipo di User research richiede una certa preparazione ed effort.
Uno Usability test moderato online, generalmente ti porta via un paio di settimane.
Nonostante ciò, non voglio scoraggiarti. É uno strumento indispensabile e alla portata di tutti.
La buona notizia é che puoi permetterti di essere più o meno flessibile con alcuni degli elementi che abbiamo visto.
Ad esempio, per velocizzare le attività, potresti ridurre il numero di partecipanti al test, purché ne abbia un numero sufficiente per trarre delle conclusioni.
Tutto dipende dalle risorse che hai disposizione.
Spero che leggere la mia esperienza ti sia utile e se vuoi condividere la tua esperienza lascia un commento.
Sono un Digital Product Manager, focalizzato principalmente in prodotti B2C. Dopo qualche anno in Italia in cui sono passato dalla consulenza al Product Management, adesso mi trovo a Berlino dove lavoro in Pepper, un portale di Deal e Codici sconto. Nei miei articoli troverai tanti riferimenti alle mie esperienze passate e tanti errori d'accenti a causa della mia tastiera tedesca 😁
Le slide sono disponibili per studenti ed ex studenti del Master in Product Management
Leave a comment