Usability Test moderato: Cos’è e come farlo

In questo articolo ti parlerò delle principali tipologie di Usability Test e successivamente ti racconterò le fasi di una metodologia di Usability Test moderato che ho avuto modo di sperimentare in prima persona.

Ti racconterò quindi della mia esperienza diretta e degli strumenti che ho utilizzato e dei risultati.

Questo articolo fa parte della serie relativa alla User Research. Se non lo hai già fatto, ti consiglio di dare un’occhiata al mio articolo introduttivo.

Indice dei contenuti

1. Cos’e uno Usability Test
2. Usability Test moderato e non moderato: Le principali differenze
3. Quando e perché fare uno Usability Test moderato
4. Le fasi di uno Usability Test Online moderato da remoto
5. Pianificare uno Usability Test moderato online: Cosa ti serve per partire
6. Gli strumenti necessari per un corretto Setup del test
7. Come e dove trovare i partecipanti per uno Usability Test moderato
8. Condurre uno Usability Test moderato Online
9. Un approccio all’analisi dei tuoi finding
10. Come comunicare i risultati dello Usability Test moderato agli Stakeholder
11. Lo Usability Test moderato é alla tua portata

Il post è abbastanza lungo, per cui se sei di fretta puoi scaricarlo in PDF accedendo alle risorse gratuite da qui.

Se hai già scaricato tutte le risorse gratuite troverai il file direttamente nella cartella condivisa 😉

1. Cos’è uno Usability Test

Essere customer-centric significa riuscire a capire i gusti dei nostri utenti attuali e potenziali e adattare il nostro prodotto in maniera adeguata.

Per farlo, abbiamo svariati tipi di strumenti, tra cui: A/B Test, Customer Survey e Usability Test.

Attraverso quest’ultimo strumento possiamo osservare come un utente utilizza il nostro prodotto in autonomia, mediante una serie di task preimpostati da portare a termine. L’obiettivo finale é quello di valutarne l’esperienza.

Esistono diverse forme e modalità per effettuare uno Usability Test.

Se ne hai la possibilità, potresti incontrare i partecipanti di persona, invitandoli presso la tua azienda o altrove, ed effettuare il test faccia a faccia. 

In alternativa, puoi chiedere ai partecipanti di effettuare il test online da remoto, da casa o in un contesto naturale, utilizzando una delle tante piattaforme presenti sul mercato (vedi Usertesting). 

2. Usability Test moderato e non moderato: Le principali differenze

É possibile che il test si svolga in presenza di un moderatore (Usability Test Moderato) oppure che il partecipante svolga il test in differita e autonomamente (Usability Test non moderato).

Nel caso del test moderato, il moderatore dà una direzione al partecipante e descrive in diretta lo scenario e i task da effettuare, osservandone le reazioni e l’esecuzione. 

In questo caso abbiamo la possibilità di dialogare con il partecipante e approfondire eventuali comportamenti inattesi.

In uno Usability Test non moderato il partecipante esegue una serie di task che gli vengono comunicati, solitamente, in forma scritta.

L’analisi dell’esecuzione da parte del ricercatore avviene in un secondo momento. 

Solitamente, l’esecuzione di questa tipologia di test é piú rapida per il partecipante e piú scalabile per l’azienda, in quanto richiede meno risorse dedicate, ad esempio, alla moderazione del test.

Ciononostante ha un perimetro circoscritto, che non ci consente di spaziare più di tanto.

3. Quando e perché fare uno Usability Test moderato

Un test di usabilità é adatto quando vuoi validare dei dubbi circa l’esperienza che l’utente ha con il tuo prodotto, e capire quali problemi riscontra. 

A prescindere dalla tipologia, un test viene sempre effettuato con un determinato obiettivo e ha dei vincoli specifici che dipendono da fattori come risorse a disposizione e tipologia di business.

In particolare, se i tuoi dubbi sono ciroscritti ad una particolare area del prodotto, potresti preferire uno test non moderato. 

Se invece sei in una fase piú esplorativa, in cui devi approfondire diversi aspetti dell’esperienza in un contesto piú ampio, un test moderato potrebbe essere piú adatto. 

In questo secondo caso, avrai la possibilità di dialogare con l’utente e ottenere feedback che non potresti ottenere con un test non moderato. Tuttavia dovrai tenere conto anche di un effort maggiore.

In questo articolo voglio concentrarmi sugli Usability test moderati da remoto.
Ti racconterò la mia esperienza e ti parlerò della metodologia e degli step che ho seguito, gli attori coinvolti e gli strumenti che ho utilizzato.

Ciononostante, un setup adeguato e alla base di ogni tipo di Usability Test e molti dei principi di cui parleró prescindono dalla tipologia di Usability Test. 

Pertanto, se l’argomento ti interessa, ti consiglio di continuare la lettura.

4. Le fasi di uno Usability Test Online moderato da remoto

La pratica di effettuare Usability test moderati da remoto sta diventando sempre piú diffusa grazie a tecnologie e servizi abilitanti, che li semplificano. 

Infatti, un test moderato da remoto é un ottimo modo accedere ad un panel di partecipanti più ampio o quando non hai uno spazio adatto. 

Inoltre potrai risparmiare sui costi da rimborsare ai partecipanti poichè questi non dovranno fisicamente recarsi in un altro luogo. 

E tutto senza un particolare perdita di qualità ed efficacia del test.

Questi sono alcuni dei motivi per cui abbiamo deciso di effettuare un test da remoto per capire come risolvere uno dei problemi identificati a partire dai nostri OKR. 

L’obiettivo del mio team per il 2020, infatti, è quello di di incrementare le acquisizioni organiche e rendere più accessibile il contenuto informativo di alcune pagine relative a prodotti trending. Qui trovi un esempio relativo all’ iPhone 11.

Abbiamo quindi identificato come possibile soluzione una sorta di indice dei contenuti che reindirizzasse l’utente, direttamente al contenuto selezionato. 

Tuttavia, non eravamo sicuri che l’utente l’avrebbe notata né che l’avrebbe utilizzata nel modo corretto. 

Abbiamo quindi deciso di testare la nostra soluzione prima di passare all’implementazione.

La metodologia che abbiamo seguito prevede alcune fasi: 

• Pianificazione
• Setup del Test
• Recruiting dei Partecipanti
• Esecuzione del Test
• Analisi e Revisione 
• Condivisione dei Risultati

Vediamole insieme una per una.

5. Pianificare uno Usability Test moderato online: Cosa ti serve per partire

Come in ogni cosa che si rispetti, anche l’esecuzione di un test di Usabilitá richiede pianificazione.

Diamo per scontato che tu abbia giá provveduto a definire con gli stakeholder che un test di usabilitá sia lo strumento migliore per il tipo di ricerca che hai in mente. 

Adesso, devi definire sia l’obiettivo principale del test che, se esistono, gli obiettivi secondari.

Solo una volta che li avrai definiti, ti sará anche chiaro qual é il tipo di partecipante con cui vuoi eseguire il test. 

Utenti che conoscono la tua piattaforma ma non la utilizzano? Oppure Utenti che non ne hanno mai sentito parlare?
Che etá devono avere i partecipanti?
Quali competenze e background?

Insomma, dovrai costruire la tua UX Test Persona. 

Successivamente Identifica le metriche o i comportamenti che vorrai monitorare con questo studio e quali potrebbero essere eventuali altri side learning attesi.

Quindi dovrai farti un’idea di quali tool ti serviranno per portare a termine il test e, se richiesto, fare una stima dei costi per dare solidità.

Per finire devi capire chi sono gli attori interni che ti supporteranno durante l’attivitá:

• Chi sono gli “involved” ovvero coloro che ti aiuteranno a portare a termine la ricerca e che saranno parte attiva?
  In questa categoria rientrano, ad esempio, gli UX Researcher, i Designer e i Product Analyist.
• Chi sono gli “informed”, ovvero coloro che non partecipano attivamente alle attivitá ma potrebbero essere interessati ai finding.
  Tra questi, troviamo gli Head of Product, Product Manager di altre aree, Head of Design e Business Stakeholder. 

Fai una pianificazione delle attivitá ad alto livello e allinea gli stakeholder identificati.Adesso, puoi finalmente partire con la realizzazione del materiale che ti servirá per condurre il test, procedendo quindi alla fase di Setup.

Esempio di vita vissuta

Nel nostro caso l’obiettivo principale era abbastanza lineare. 

Volevamo introdurre una nuova funzionalitá, la Table of Content (ToC), su una pagina specifica e dovevamo capire se gli utenti l’avrebbero notata, compresa e utilizzata propriamente.

Piú in generale, volevamo anche rivedere la struttura della pagina relativa ai prodotti. 

Quindi, il nostro obiettivo secondario era quello di capire se la disposizione delle informazioni fosse ottimale o se gli utenti avessero difficoltá ad inquadrare il contenuto della pagina.

Date le premesse, abbiamo deciso di effettuare uno Usability Test moderato da remoto e di utilizzare il tool Lookback per l’esecuzione.

Avremmo testato soltanto la versione Web Mobile, in quanto piú in linea con la nostra strategia mobile-first. 

Per completezza, successivamente abbiamo effettuato un Test anche per la versione Desktop.

Ci siamo dati un orizzonte temporale di circa due settimane per un totale di 10 utenti, un numero ritenuto abbondantemente sufficiente per uno Usability Test. 

La nostra persona era attualmente residente in UK, con un Inglese fluente, avvezza agli acquisti online e non conosceva il nostro servizio. 

Infatti, l’80% del traffico che arriva in questa pagina é organico, e ci arriva dal motore di ricerca a seguito della ricerca di informazioni relative al prodotto. 

Questi visitatori non conoscono il nostro servizio, così come i partecipanti richiesti per questo test. 

Nell’identificazione della persona e delle decisioni iniziali sono stato supportato dal nostro SEO Manager e dal Designer del mio team.

Per concludere, ho realizzato un one-pager riassuntivo che ho condiviso con: Head of Product, Head of Design, SEO Manager, Marketing Manager e con il mio team di prodotto. 

Solitamente, organizzo un breve meeting per chiarire punti dubbi ma in questo caso non é stato necessario. 

Tempo di esecuzione: Circa mezza giornata

Tool utilizzati: Google Doc e Google Spreadsheet

6. Gli strumenti necessari per un corretto Setup del test

Nella prima fase hai definito obiettivi, tempistiche, strumenti e attori. 

Adesso è il momento di realizzare il materiale necessario ad una fluida esecuzione del test.

Analizziamo subito il caso più complesso e supponiamo che tu voglia testare una funzionalitá non ancora implementata sul tuo sito o sulla tua app. In questo caso, ti serviranno due strumenti: un prototipo della funzionalitá e uno script.

Come realizzare il prototipo del tuo prodotto?

Il prototipo é una versione fittizia del tuo prodotto su cui imitare il comportamento della nuova funzionalità da integrare, in modo piú o meno accurato.

Pertanto non sará necessario se vuoi valutare l’usabilitá del tuo sito o di parti giá esistenti. 

Viene generalmente sviluppato da un designer utilizzando strumenti di Sketching come inVision, Sketch o Adobe XD.
Esistono peró strumenti piú semplici per realizzare dei prototipi “fai da te”.   

Consigli Utili sui prototipi

La mia esperienza diretta sulla prototipazione si limita a qualche mockup su Balsamiq e ho sempre lasciato la realizzazione dei prototipi ai miei colleghi designer. 

Tuttavia, ci sono due consigli che voglio condividere con te:

• Cerca di realizzare un prototipo Hi-Fi, che replichi fedelmente il funzionamento del tuo sito e della funzionalità che vuoi testare. Ne va della qualità degli insight che potrai ricevere.
• Non perdere tempo a prototipare funzionalità che non ti interessa far testare.
  É accettabile dire all’utente che sta utilizzando un prototipo o una versione di test del sito e, in quanto tale, alcune funzionalità potrebbero essere disabilitate.

Se vuoi approfondire l’argomento e mastichi l’inglese, ti consiglio di dare un’occhiata ai corsi del sito interactiondesign.org.
Il loro articolo sulle basi del prototyping, potrebbe essere un buon punto di partenza.

Lo script: parlare ai tuoi utenti in modo efficace

Lo script é un documento in cui scrivere esattamente ció che dirai all’utente durante il test e ciò che gli chiederai di fare, task dopo task. 

Sará la tua bussola durante la moderazione. 

Lo script é generalmente diviso in 3 parti:

• Warm-Up: Questa é la sezione introduttiva e serve sia a te che al partecipante per prendere reciproca confidenza.
  Qui puoi presentarti, spendere qualche parola sull’azienda, settare le aspettative sul test e sulla durata.
  Per finire, introduci lo scenario: Inviti l’utente ad immergersi in una situazione ipotetica e realistica.
  Ti consiglio di ricordarglielo di tanto in tanto durante il test, quando perderà il focus. Per esempio: Vuoi comprare un computer nuovo perché il tuo si é rotto e il tuo migliore amico ti dá un suggerimento: Un Toshiba PRO40.
  
• Domande e Task: Nella sezione centrale puoi chiedere al partecipante delle informazioni generiche per inquadrare aspetti specifici che possono interessarti.
  Per esempio: Quali sono i tre aspetti principali che ti interessano nell’acquisto di un nuovo laptop?
  Il cuore del tuo script, peró, sarà la lista di task the vuoi che il tuo utente porti a termine sul prototipo, o sul sito.
  Per esempio: Riesci a trovare, all’interno di questa pagina la sezione relativa alle caratteristiche tecniche del Toshiba PRO40?
  
• Cool-Down: É la sezione conclusiva del test in cui puoi finalmente sciogliere un po’ “la tensione”. É un buon momento per raccogliere feedback generici sul tuo prodotto o sull’esperienza in sé.
  Per esempio: Quali sono le informazioni che hai trovato piú rilevanti all’interno della pagina? E cosa invece non ti ha convinto?

Consigli Utili per uno script efficace

• Stabilisci a priori la durata orientativa del test e scrivi il tuo script di conseguenza.
  La durata media di uno Usability Test moderato è di 20-40 minuti.
  Tuttavia ho partecipato a studi di usabilità da 10 minuti cosí come da 60 minuti. Raramente ho visto test oltre questa durata in ambito B2C.
  Comunque, tutto dipende dall’obiettivo e dalle tue disponibilità ma é importante settare le aspettative.
• Nel warm-up sii rassicurante sul fatto che non stai testando l’utente ma il sito, e che quindi non esistono risposte giuste o sbagliate.
  Un altro aspetto che potresti voler menzionare é un’idea della durata del test stesso. Probabilmente, il partecipante avrà giá questa informazione ma serve a rassicurarlo sul fatto che non vuoi rubargli del tempo extra.
• Sii il più accurato possibile. Durante la conduzione del test vuoi essere estremamente focalizzato su ciò che l’utente dice e fa.
  Devi cercare di ridurre al minimo lo sforzo di pensare a cosa dire o adattare il testo.  Pertanto, cerca di scrivere le domande esattamente come pensi che vorrai porle durante il test, così non dovrai pensarci in quella sede.
• Cerca di non dire più del necessario sull’azienda, prodotto o servizio in fase di presentazione.
  Se l’utente non lo conosce già, eviterai di creare bias cognitivi.
• Per quanto possibile, nella stesura dei task non indirizzare l’utente ad azioni troppo specifiche. Vuoi che ci arrivi da solo.
  Se lo guidi eccessivamente, stai falsando il test.
  Per esempio, un task posto come “Adesso vuoi cercare informazioni sull’iPhone 11. Cosa fai? Fallo!” ti dice molto di più di: “Adesso usa la barra di ricerca per cercare l’iPhone 11“.
  Potresti scoprire che l’utente, la barra di ricerca, non la nota nemmeno.

Il consiglio più importante: Fai le domande giuste!

Sembra banale ma ti assicuro che fare le domande sbagliate é veramente facile. 

La regola generale é di ridurre al minimo il bias cognitivo generato dalle domande nella mente dell’interlocutore. 

Di seguito troverai alcuni esempi che secondo me dovresti evitare e che valgono per tutti i tipi di interviste con gli utenti:

• Domande chiuse, attraverso cui stai giá imboccando una risposta.
  Se lo fai, induci una risposta al partecipante, falsando di fatto il suo pensiero. “Ti piace questo elemento?”
  “Pensi che questo bottone sia troppo rosso?”
  
• Domande al condizionale. Non dobbiamo valutare le intenzioni ma le azioni.
  “Useresti questo bottone per andare in una nuova pagina?”
  “Useresti l’indice per essere reindirizzato ad una specifica sezione dell’articolo?
  
• Rivelare troppo. Stesso discorso del punto precedente. Meno intenzioni e più azioni.
  “Questo bottone rosso ti porta su una nuova pagina. Era quello che ti aspettavi?”
  
• Ricercare Complimenti. Se poni la domanda con l’intenzione di difendere la tua idea, l’utente probabilmente non sarà obiettivo.
  In fondo, nessuno vuole essere cattivo con te e farti un complimento non gli costa nulla.
  Devi cercare di rimanere neutrale quando poni la tua domanda.
  “Questo fantastico bottone rosso è bellissimo. Sei d’accordo/Quanto sei d’accordo da 1 a 10?”
  “Cosa ti piace del mio sito?” (stai implicando che gli piaccia qualcosa)

In merito all’ultimo punto ti invito a leggere The Mom Test, di Rob Fitzpatrick. L’ho trovato molto pratico e illuminante.

Se invece vuoi approfondire il tema sulla stesura di uno script ti consiglio di dare un’occhiata a questo articolo (in inglese).

Testare il prototipo e lo script internamente

Una volta realizzato il materiale necessario dovrai testare lo script, con uno o più amici o colleghi.

Dovrai simulare un vero e proprio test di usabilitá, con l’obiettivo di validare la durata del test stesso, la correttezza del prototipo e la chiarezza e consistenza dello script.

Infatti, é assolutamente sconsigliato cambiare il contenuto dello script o del prototipo in corso d’opera, tra un test e l’altro, con partecipanti veri.

Inoltre, testare lo script, ti permette di prendere familiaritá con il testo e con gli eventuali tool che utilizzerai.

Tieni a mente che più i tuoi partecipanti interni sono simili alla Persona che hai identificato, più rilevante sarà il risultato.

Esempio di vita vissuta

Come abbiamo realizzato il prototipo per il test

Il prototipo é stato realizzato interamente dal designer con cui mi confrontavo frequentemente per eventuali aggiustamenti. 

Ha utilizzato gli screenshot di una pagina prodotto esistente e ha aggiunto la funzionalitá della Table of Content, utilizzando Framer.

Una delle difficoltá principali é stata quella di simulare uno sticky header, un comportamento particolare in cui questa si sostituiva all’header principale. 

In questo caso però, era necessario perché volevamo capire se queste avrebbe creato qualche frizione all’utente.

Tempo di esecuzione: Un paio di giornate

Tool utilizzati: Figma, Codepen.io, Framer

Come abbiamo realizzato lo script per lo Usability Test moderato

Siamo partiti da un template interno, precedentemente utilizzato in un altro Usability test moderato, e lo abbiamo adattato alle nostre esigenze.

Le sezioni Warm-Up e Cool-Down sono abbastanza standard e non hanno richiesto particolari modifiche. 

La sezione centrale, relativa ai task ha invece richiesto modifiche sostanziali. 

Abbiamo diviso questa sezione in due parti. 

La prima parte era strettamente mirata a capire 3 punti:

1. Il partecipante avrebbe notato la presenza della Table of Content?
2. Il comportamento dello sticky header avrebbe generato confusione o friction nell’esperienza del partecipante?
3. Il partecipante avrebbe utilizzato la funzionalità, dopo averla notata? 

Riprendendo quanto prima sulle azioni piú che intenzioni, voglio farti un esempio relativo all’ultimo punto. 

Per fare questa valutazione, infatti, abbiamo creato due task che facessero saltare il partecipante da un contenuto all’altro e abbiamo analizzato se questi lo facesse utilizzando la Table of Content o tramite semplice scrolling.

Molto piú efficace che chiedere: “Ti piace la barra dei contenuti? La useresti?”. No?

Nella seconda parte volevamo capire se una specifica sezione giá esistente ricordasse un ad.

Abbiamo chiesto al partecipante di eseguire una serie di azioni che lo inducessero a passarci sopra e ne abbiamo valutato l’interazione.

Gli abbiamo quindi chiesto le sue impressioni e cosa si aspettasse che succedesse, cliccandoci sopra.

🚨 Spoiler Alert 🚨: Alcuni dei partecipanti hanno spontaneamente dichiarato che credevano fosse “pubblicità”. 

Tempo di esecuzione: Circa mezza giornata

Tool utilizzati: Google Doc e Google Spreadsheet

Come abbiamo testato la consistenza dello script

Infine abbiamo testato lo script internamente con 3 partecipanti. Due di essi erano colleghi dell’area HR e Finance, “distanti” dal prodotto e quindi meno soggetti a bias cognitivi.

Giá durante la simulazione abbiamo preferito essere in due, in modo che una potesse condurre il test e prendere familiaritá mentre l’altro potesse prendere appunti su ciò che andava rivisto.

Per darti un’idea di quanto sia importante, ogni singola simulazione ci ha portato a rivedere lo script. 

Alla fine abbiamo rimosso alcuni task per ridurne la durata complessiva.

Tempo di esecuzione: una giornata, inclusa la review
Tool utilizzati: Google Doc, Google Spreadsheet, Lookback.io

7. Come e dove trovare i partecipanti per uno Usability Test moderato

Finalmente é arrivato il momento di condurre il test vero e proprio… Ma prima ti servono dei partecipanti! 

In questa sezione, vedremo alcune strategie per reclutare e qualificare i partecipanti.

In particolare, voglio rispondere a due domande:

• Dove trovo i partecipanti che mi servono? 
• Come faccio a qualificare i potenziali candidati?

🚨 Spoiler alert 🚨: La risposta ad entrambe le domande é dipende.

E una discriminante é il fatto che i tuoi partecipanti debbano giá conoscere il tuo prodotto o meno.

Trovare partecipanti al test che conoscano il prodotto

Se i partecipanti possono o devono conoscere il tuo prodotto é semplice. Tutto quello che ti serve lo hai giá, ed é il tuo CRM o tool di Analytics. 

Estrai da qui gli utenti che rispettano i requisiti della tua Persona e contattali, via telefono o mail, per invitarli al tuo test.

Probabilmente non serve che te lo dica ma assicurati di avere il consenso esplicito a contattarli!

Un’alternativa è quella di effettuare il recruiting direttamente all’interno della tua community. 

Ad esempio, potresti postare un banner sul tuo sito o app.
Magari all’interno della pagina in cui vuoi effettuare il test, se vuoi assicurarti che il partecipante la conosca. 

Trovare partecipanti al Test che non conoscano il prodotto

Se i partecipanti NON devono conoscere il tuo prodotto, hai un po’ meno controllo.

In questo caso il rischio di trovare utenti poco interessati al tuo prodotto o alla tua industry é maggiore rispetto al caso precedente. 

E questo é un problema perché rischi di avere partecipanti poco motivati che falsano i risultati dello Usability test. 

Purtroppo non e facile valutare la motivazione ma puoi servirti di un questionario di pre-screening a cui rimandare i potenziali candidati. 

Ti suggerisco due strategie: una a basso costo e l’altra adatta a budget piú consistenti.

Trovare candidati allo Usability Test a basso costo

La prima strategia è la piú economica, banale e, purtroppo, anche la meno efficiente. 

Si tratta di spammare un annuncio di recruiting all’interno di gruppi e pagine Facebook, o altri social, dove trovare utenti potenzialmente idonei. 

Ad esempio, se il tuo prodotto é un servizio a domicilio di cibo per cani, é probabile che tu possa trovare qualche valido candidato in un gruppo di amanti degli animali. 

Se hai un minimo di  budget, valuta anche l’ipotesi di un’inserzione a pagamento per accelerare i tempi. 

In entrambi i casi, rimanda i candidati al link con il tuo form di pre-screening per la qualificazione.

 Successivamente contatta soltanto quelli idonei. 

Trovare candidati allo Usability Test tramite servizi terzi

La seconda strategia é quella di rivolgerti ad un servizio di terze parti che fa questo mestiere.

É una soluzione decisamente piú efficiente e anche piú costosa.

Solitamente, ti basta fornire il numero di partecipanti necessario e le caratteristiche della Persona e loro si occuperanno delle attivitá di qualificazione e recruiting.

Successivamente sei autonomo nel concordare con il partecipante i dettagli relativi a luogo e ora per il test.

Personalmente conosco Usertesting, Testingtime e Respondent. 

Gli ultimi due si occupano puramente di recruiting, Usertesting si occupa anche della gestione end-to-end di test non moderati. 

Di questa categoria fanno parte anche Appquality, Userfeel, Applause ma non li ho mai utilizzati in prima persona.

Quanto costa uno Usability Test Online moderato

I costi possono variare a seconda di diversi fattori. 

Dipende ad esempio dalla tipologia di prodotto: É un prodotto B2C o B2B? É un prodotto “di massa” o di nicchia?

La risposta a queste domande puó incidere sui costi poiché presuppone tipologie di partecipanti con esigenze e aspettative diverse. 

Nella mia esperienza, il costo per partecipante si aggira sui 60 Euro lordi per test di 30 minuti, quando ti rivolgi ad un servizio terzo. 

Nel caso di recruiting autonomo, parliamo di circa 20-30 Euro lordi per un test della stessa durata. 

La differenza sta, ovviamente, nell‘assenza di un intermediario e dei costi di gestione associati.

Per semplicità, consideriamo i costi delle risorse e dei tool, affogati nei costi aziendali.

Esempio di vita vissuta

Come ti avevo anticipato, la nostra Test Persona vive in UK, non conosce il servizio ed è avvezza agli acquisti online. Inoltre deve essere un deal hunter.

Inizialmente abbiamo provato con la strategia a basso costo. 

Abbiamo ipotizzato di poter trovare candidati idonei in gruppi Facebook stile “Mercato dell’usato” e “Scambio di opinioni sui prodotti”. 

Ne abbiamo identificati alcuni e quindi postato un invito a candidarsi al nostro test. 

Il messaggio conteneva un link che rimandava ad una Survey fatta in Google Form, per qualificare i partecipanti.

All’interno della survey abbiamo chiesto se utilizzassero servizi per comparare prezzi e ottenere sconti. In caso affermativo, chiedevamo quali fossero. 

In questo modo potevamo essere abbastanza sicuri che gli utenti fossero deal hunter ma non conoscessero il nostro prodotto. 

La strategia si è rivelata abbastanza fallimentare.
Abbiamo avuto un tasso di risposta bassissimo e solo 3 utenti adatti. 

Era il momento di velocizzare e quindi dare il recruiting dei partecipanti in outsourcing. Abbiamo scelto Testingtime. 

Breve recensione:

La qualità dei partecipanti non é sempre stata eccellente e abbiamo dovuto invalidare più di un test.
Tuttavia, abbiamo apprezzato la disponibilità a trovare partecipanti alternativi e lo sconto in fattura.  

Nota aggiuntiva

Per un altro test non moderato, abbiamo reclutato i nostri utenti con un banner posto all’interno della pagina in cui avremmo testato la nuova funzionalitá. 

Il traffico era così parzialmente qualificato e lo abbiamo reindirizzato verso una survey di pre-screening adatta. 

Tempo di esecuzione: circa una decina di ore, di cui: 

Il 60% del tempo dedicato alla realizzazione del form, identificazione dei gruppi Facebook e “spamming”.

Il restante 40% dedicato allo scouting del servizio di recruiting e al coordinamento con Testingtime e con i partecipanti.

Tool utilizzati: Google Form, Testing Time, Calend.ly

8. Condurre uno Usability Test moderato Online

Ci siamo! Hai uno script robusto, un prototipo funzionante e hai reclutato almeno un partecipante. 

É il momento di iniziare con il test vero e proprio e in questo paragrafo condivideró alcune pillole per la moderazione dello Usability Test. 

Durante l’esecuzione dei task osserva molto attentamente ciò che fa e dice l’utente. 

Idealmente ci sono solo due outcome per un task: l’utente lo ha completato con successo oppure no. 

Se vuoi essere piú flessibile puoi utilizzare una scala per indicare quanto l’utente sia andato vicino al completamento, o la relativa facilitá. 

Purtroppo é difficile essere obiettivi, per cui personalmente preferisco il metodo binario, annotando la difficoltá di completamento.

Consigli pratici per una corretta esecuzione dello Usability test moderato

Di seguito trovi gli accorgimenti che ritengo più importanti durante l’esecuzione dello Usability test moderato.

• Ricorda al partecipante di verbalizzare le sue azioni e spiegarti le motivazioni che lo spingono a compierle. 
• È bene essere in due ad osservare l’esecuzione dello Usability test moderato, affinché uno possa osservare e l’altro prendere appunti.
  Se sei da solo, dovrai fare entrambe le cose contemporaneamente e potresti perderti informazioni preziose.
  D’altro canto ti sconsiglio di eccedere con gli osservatori per evitare di mettere l’utente in soggezione.
• A questo proposito, sii informale.
  Vuoi che l’utente si senta in un ambiente confortevole e familiare mentre effettua il test.
• Uno script robusto ti permette di attenerti a quanto scritto e concentrarti soltanto su ciò che fa il partecipante.
  Tuttavia, può capitare che il partecipante faccia qualcosa di particolare e mostri un comportamento imprevisto che vuoi approfondire.
  In questo caso, va benissimo deviare dallo script e trarne vantaggio per esplorare e identificare nuove opportunità.
  Quando sei soddisfatto, riprendi semplicemente da dove avevi lasciato.
• Cerca di essere empatico ma impassibile.
  Capita che l’utente rimanga bloccato e faccia domande per capire come utilizzare una funzionalità.
  Alcuni esempi possono essere:
  “Cosa devo fare?”, “A che serve questo?”, “Come funziona?”, “Devo premere?”.
  Resisti alla tentazione di rispondere e chiedi piuttosto:
  “A cosa pensi che serva?”, “Cosa ti aspetti che succeda, cliccandolo?”.
  Ricordargli che non c’è un giusto o sbagliato e non DEVE fare nulla.
• Cerca di rispettare la durata dello Usability test e il tempo dei partecipanti.

Gestire un problema durante il test

Qualche volta, un test può semplicemente andare male e l’unica cosa da fare è accettarlo.

Ad esempio, l’utente potrebbe non essere motivato a fare il test o non lo prende seriamente.
Altre volte il partecipante continua a farti complimenti sul prodotto o non verbalizza nonostante tu glielo ricordi.
O ancora, non riesce ad esprimersi correttamente perché magari non è fluente in quella lingua. 

In tutti questi casi, non stai estraendo valore dal test e puoi anche considerare di interromperlo in anticipo. 

Se hai utilizzato un servizio terzo per il recruiting, puoi rivalerti e richiedere un nuovo partecipante, ovviamente gratuito. 

Puoi decidere di ridurre o annullare il compenso del partecipante ma ti consiglio di essere cauto nel farlo.
È comunque bene chiarirlo giá in fase di recruiting, in modo tale da avere solo partecipanti motivati.

Altre volte potresti avere problemi tecnici durante l’esecuzione del test.

Se il test é online, potrebbero esserci problemi dovuti alla connessione o il prototipo potrebbe non funzionare. 

In quel caso chiedi la comprensione e pazienza del partecipante e prova a risolvere il problema seduta stante. 

Se non riesci e sei impossibilitato ad effettuare il test, potresti sospendere la sessione ed invitare il partecipante a ripeterlo successivamente. 

É buona norma ricompensare l’utente, proporzionalmente al tempo impiegato, anche per il test andato male per cause indipendenti da lui.

Esempio di vita vissuta

Durante i test abbiamo dovuto gestire due casi.

Nel primo test test abbiamo avuto problemi tecnici dovuti sia alla connessione che al prototipo non funzionante.
In questo caso abbiamo invitato la partecipante ad una sessione successiva, e le abbiamo comunque garantito la metá del compenso.  

Nel secondo caso, uno degli utenti non era non era in grado di esprimersi sufficientemente in inglese.
Abbiamo interrotto il test in anticipo e richiesto un altro partecipante a Testing time. 

Abbiamo effettuato tutti i test da remoto utilizzando Lookback.io, un tool che consente di effettuare uno usability test moderato online e quindi vedere sia l’utente che il suo dispositivo.

Ha una funzionalitá interessante che permette l’accesso in modalità view, affinché altri watcher, possano osservare il test da remoto.
Inoltre, offre al moderatore la possibilitá di interagire tramite chat con i watcher.
Io e il designer lo abbiamo utilizzato per comunicare al volo durante l’esecuzione.

Tutte le sessioni vengono salvate ed è possibile accedervi per la fase di review.

Tempo di esecuzione: Circa 12 ore con il supporto full time di un UX/UI designer

Abbiamo impiegato poco più di un’ora per ogni test, inclusi il setup e il debriefing finale. Tool utilizzati: Google Doc, Google Spreadsheet, Lookback.io

9. Un approccio all’analisi dei tuoi finding

Bravo! Hai messo a frutto ciò che avevi realizzato e hai fatto provare il tuo prototipo ad almeno 5 utenti.
Adesso è arrivato il momento di rivedere gli appunti che hai preso e riguardare i video dell’esecuzione dello Usability test moderato, con molta attenzione.

So che devi bilanciare il tempo ma spesso capita di perdersi dettagli importanti che l’utente ci regala.
Rivedere i le registrazioni ti permette di cogliere piccole sfumature a cui adesso puoi fare attenzione e che possono darti insight importanti. 

Porta tutte le risposte alle domande chiuse su uno Spreadsheet, in modo che i trend risultino evidenti. Ad esempio potresti utilizzare un grafico.

Per identificare pattern qualitativi segna ogni comportamento interessante che vedi per la prima volta.
Ogni volta che un altro utente mostra un comportamento simile aggiungi un “+1”.
Alcuni saranno comportamenti singolari mentre altri saranno pattern ricorrenti che potresti voler prioritizzare. 

Ad esempio, immaginiamo che un PM di Facebook voglia migliorare la funzione del Post e quindi vuole capire come la utilizzano gli utenti. 

Ipotizziamo che decida di fare uno Usability testing moderato con 10 utenti.

Durante il test, si accorge che alcuni utenti limitano l’accesso in visualizzazione al post, allo scopo di conservare link da riguardare successivamente. 

Se lo fa un utente è un insight da annotare. 

Quando diventano 3 o 4 diventa un pattern interessante. 

A questo punto ti sarà più facile renderti conto di quali sono i punti di frizione per gli utenti ed avrai dei dati a supporto delle tue decisioni. 

Se ad esempio vuoi semplificare l’esperienza utente ti puoi concentrare sui punti che fanno perdere più tempo.
Se invece devi massimizzare la retention ti puoi concentrare su quelli che avvengono con più frequenza.

Esempio di vita vissuta

In seguito all’ultima registrazione, abbiamo riorganizzato tutti i nostri appunti in un unico archivio su Google Drive.

Abbiamo fatto un merge dei nostri appunti e poi trasferito su uno Spreadsheet le risposte alle domande chiuse, aggiungendo eventuali note come commenti alla cella. 

Anche per la review dei video, abbiamo utilizzato Lookback, che mantiene i le registrazioni delle sessioni. 

Un pattern interessante nella fase di Review dello Usability Test Moderato

Durante la fase di review, abbiamo validato un pattern ricorrente molto interessante. 

All’interno della pagina su cui stavamo testando la nuova feature, l’utente può trovare deal relativi ad un prodotto specifico. 

Per vari motivi, tra cui la SEO, mostriamo anche i deal scaduti e li coloriamo in maniera differente. L’utente può nasconderli utilizzando un filtro. 

Tuttavia, piú volte ci siamo interrogati su come gestirli, ipotizzando che fossero incomprensibili e un fastidio per l’utente. 

Nonostante non stessimo cercando la risposta in questo Usability Test moderato, gli utenti hanno spontaneamente capito che quei deal non erano più validi. 

La cosa piú curiosa è che li trovavano anche interessanti!

La metaá degli utenti ha spontaneamente menzionato che l’informazione è rilevante perché gli permette di comparare i deal attualmente attivi con quelli precedenti.
Questo gli permette di valutare la bontà del prezzo attuale e aiutarlo nella scelta di acquistare subito oppure aspettare. 

Per noi, questa informazione apre le porte ad infinite opportunità di miglioramento.

E per quanto riguarda la Table of Content?

7 utenti su 10 si sono accorti dell’esistenza ma solo uno l’ha effettivamente utilizzata per navigare da un contenuto all’altro. 

Gli altri utenti preferivano “scrollare” tra una sezione e l’altra e utilizzavano la ToC per capire che tipo di contenuto stessero leggendo. 

Ne abbiamo dedotto che il design non rispondesse esattamente al bisogno che avevamo previsto ma avesse comunque una sua utilità. 

Abbiamo quindi deciso di implementare un MVP senza ancoraggio agli specifici contenuti della pagina.

Per finire, abbiamo ipotizzato una serie di next step e confezionato una presentazione per condividere i risultati con gli stakeholder. 

E questo ci porta all’ultima fase del nostro Usability Test moderato: la condivisione dei risultati. 

Tempo di esecuzione: Circa 12 ore

Tool utilizzati: Lookback.io, Google Spreadsheet, Google Doc 

Cenno di vita vissuta per uno Usability Test non moderato

In un successivo Usability Test non moderato, relativo ai cookie banner, abbiamo utilizzato un tool che voglio menzionare, Dovetail.  

Dovetail ha parecchie feature interessanti come la trascrizione automatica del contenuto delle registrazioni dello Usability Test Moderato e la clusterizzazione dei finding. 

Purtroppo non ho ancora avuto modo di testarlo sul campo in prima persona, ma ne avró presto l’opportunità. Quindi stay tuned perché potrei parlarne in uno dei miei prossimi articoli. 

10. Come comunicare i risultati dello Usability Test moderato agli Stakeholder

Adesso che tutte le tue scoperte sono in ordine, è importante condividerle con chi potrebbe trarne un vantaggio. 

Tra questi, considera anche tuoi colleghi che non hanno impatti diretti ma possono comunque essere interessati.

Il mio consiglio é di creare 2 strumenti. 

Il primo è un documento, una presentazione autoesplicativa o anche un meeting. Qualunque esso sia, ti consiglio di mantenerti su una struttura di questo tipo:

• Breve contestualizzazione dello Usability Test moderato e delle attività svolte
• Finding principali e quelli secondari
• Decisioni prese e Next step. 
• Elementi da approfondire con successivi test o analisi 

Questo documento é destinato ai tuoi stakeholder principali come Head of Product, Head of Design, Stakeholder di Business, altri Product Manager in aree affini o membri del tuo team

Il secondo strumento è una versione breve del precedente ed é destinato agli stakeholder interessati ma non strettamente coinvolti.

Un esempio potrebbe essere un onepager o un executive summary con una struttura simile al precedente.

I destinatari saranno, ad esempio, l’Head of Business, il CPO o i Product Manager che non insistono sulla tua porzione di prodotto.

Esempio di vita vissuta

Per condividere i risultati del nostro Usability Test moderato abbiamo creato un breve onepager e una presentazione di 35 slide. Quest’ultima conteneva:

• Una sezione con gli obiettivi del test
• Una overview del processo che abbiamo seguito
• I finding principali e secondari divisi per categorie.
  Nel nostro caso specifici punti o elementi della pagina che stavamo testando.
• I next step in termini di decisioni di prodotto e argomenti da approfondire

Ti ricorda niente? 🙂 

Per concludere, ho condiviso la presentazione con il mio team di prodotto, alcuni product manager, Head of Product e Design e con il SEO Manager. 

Successivamente ho organizzato un meeting di 30 minuti per eventuali approfondimenti o domande. 

A quanto pare, era giá tutto chiaro e in 20 minuti era finito.

Il onepager é andato all’Head of Content, al capo dell’area Marketing e al CPO che, fun fact, mi ha chiesto la versione estesa.

Tempo di esecuzione: circa una giornata 

Tool utilizzati: Powerpoint

11. Lo Usability Test moderato é alla tua portata

Ne avevo giá parlato nella mia introduzione alla User Research e a questo punto saraá chiaro anche a te: parlare con gli utenti è soltanto una delle fasi di uno Usability Test moderato. 

Questo tipo di User research richiede una certa preparazione ed effort. 

Uno Usability test moderato online, generalmente ti porta via un paio di settimane. 

Nonostante ciò, non voglio scoraggiarti. É uno strumento indispensabile e alla portata di tutti. 

La buona notizia é che puoi permetterti di essere più o meno flessibile con alcuni degli elementi che abbiamo visto.

Ad esempio, per velocizzare le attività, potresti ridurre il numero di partecipanti al test, purché ne abbia un numero sufficiente per trarre delle conclusioni.

Tutto dipende dalle risorse che hai disposizione.

Spero che leggere la mia esperienza ti sia utile e se vuoi condividere la tua esperienza lascia un commento.