AI Product Manager: nuove competenze, framework e best practice nell’era della Generative AI

Scritto da

Nicolas Pantaleo -

La transizione da Product Manager a AI Product Manager non è semplicemente un cambio di titolo, ma un’evoluzione verso una nuova era di innovazione e opportunità senza precedenti.

Gli AI Product Manager sono infatti chiamati a reinventarsi, acquisendo competenze tecniche specifiche per l’AI e sviluppando una mentalità orientata ai dati, senza perdere di vista l’importanza di un approccio in cui le persone e gli utenti sono al centro.

L’era della Generative AI segna un punto di svolta per il Product Management, richiedendo un adeguamento strategico e operativo che vada oltre le convenzionali pratiche di sviluppo. In questo contesto dinamico, il successo dipenderà dalla capacità di integrare l’intelligenza artificiale nella visione del prodotto, nel design, nello sviluppo e nell’implementazione, tenendo sempre al centro le esigenze dell’utente.

In un mondo dove l’AI modella ogni aspetto dell’esperienza utente, diventa cruciale per i Product Manager non solo comprendere ma anche anticipare le implicazioni etiche e sociali delle tecnologie che implementano. Quindi, abbracciare il cambiamento, investire nell’apprendimento continuo e coltivare una profonda empatia per l’utente finale saranno le chiavi per eccellere in questo nuovo paradigma.

In questo articolo, esploreremo alcuni principi fondamentali del AI Product Management in questa nuova era, preparandoci al futuro in cui tutti i Product Manager diventeranno, inevitabilmente, AI Product Manager.

Indice:

  1. Introduzione
  2. La Generative AI e i Large Language Model
  3. Un nuovo ciclo di sviluppo su misura per l’AI
  4. La Customer Centricity nell’AI Product Management
  5. Un nuovo approccio alle metriche di prodotto

Introduzione

Nel 2023 abbiamo assistito a una svolta rivoluzionaria nel campo della tecnologia: l’ascesa della Generative AI e dei Large Language Models. Quest’era non rappresenta solo un avanzamento tecnologico, ma un vero e proprio salto quantico nella storia delle scienze informatiche. Da semplici macchine programmate per eseguire calcoli specifici, siamo passati a sistemi capaci di comprendere, imparare e persino creare.

Da OpenAI con ChatGPT, a colossi come Microsoft, Google e Amazon, il mondo tecnologico si è unito in questa epocale transizione, ansioso di sfruttare e guidare il potenziale di queste tecnologie. Questi nuovi modelli di intelligenza artificiale mirano a emulare la complessità del cervello umano, aprendo nuove frontiere prima impensabili per le macchine. La loro capacità di creare narrazioni, comprendere contesti conversazionali e mostrare creatività, porta un cambiamento senza precedenti nella storia dell’informatica.

La democratizzazione delle tecnologie di intelligenza artificiale segna l’inizio di una nuova era di prodotti digitali innovativi, con capacità uniche mai viste prima sul mercato. In questo contesto, il ruolo dei Product Manager subirà una trasformazione radicale: gestire l’evoluzione di un AI Product richiederà nuove competenze, nuovi framework e, soprattutto, un’attenta rivisitazione di tutte le best practice e gli automatismi a cui eravamo abituati, ridefinendo il modo di fare prodotto in un mondo fatto di modelli e agenti intelligenti.

AI Product Manager: la Generative AI e i Large Language Model

Prima di tutto, però, approfondiamo i concetti base della Generative AI e dei Large Language Model.

Cosa è l’AI generativa

L’AI generativa è costituita da un sottoinsieme di tecnologie di intelligenza artificiale che sono in grado di generare nuovi contenuti che assomigliano alla creazione umana, sia che si tratti di testo, immagini, musica o persino codice. È come avere un agente intelligente che può dipingere, scrivere storie, comporre musica o persino programmare, non copiando opere esistenti, ma imparando da esse e creando qualcosa di nuovo e originale.

Pensate all’AI generativa come a uno chef versatile in una vasta cucina con un ampio ricettario a disposizione. Questo chef ha imparato da ogni ricetta nel libro e ora può creare nuove ricette che sono ispirate, ma non esattamente uguali, ai piatti che ha imparato a preparare. L’abilità dello chef nel combinare ingredienti in modi nuovi risulta in piatti che sono sia familiari che sorprendenti.

Cosa sono i Large Language Model

Nel cuore dell’AI generativa, in particolare per la creazione di contenuti testuali, risiedono i Large Language Model. Si tratta di sistemi di intelligenza artificiale addestrati su vasti quantitativi di dati testuali, che imparano a prevedere la parola successiva in una frase, dati tutti i contenuti precedenti.

Immaginate una vasta rete interconnessa di libri, articoli e scritti da tutto il mondo. Ora, immaginate uno studioso che ha passato anni a studiare questa rete, comprendendo le connessioni, i temi e le sfumature del linguaggio utilizzato al suo interno. Questo studioso può quindi produrre nuovi scritti che riflettono lo stile, il tono e i contenuti dell’enorme varietà di informazioni che ha assorbito. È così che operano i LLM, sintetizzando e generando linguaggio basato sul vasto dataset su cui sono stati addestrati.

I LLM hanno la straordinaria capacità, molto simile a quella umana, di comprendere il contesto di una conversazione. Immaginate di avere una discussione con qualcuno che ricorda tutto ciò che gli avete mai detto; è così che un LLM elabora il testo, considerando tutti gli input precedenti per dare senso ai nuovi.

Sono in grado di scrivere saggi, storie, codice e altro, imitando gli stili di scrittura umani. È come uno scrittore che può passare dallo stile di scrittura di un autore di romanzi a quello di un manuale tecnico, a seconda di ciò che gli viene chiesto.

I Transformer

Dal punto di vista tecnologico, la nascita degli LLM è dovuta all’invenzione delle architetture di reti neurali chiamate Transformer. Approfondiamo questo punto con un esempio, per comprendere il ruolo cruciale che questa invenzione ha avuto nella democratizzazione dell’intelligenza artificiale.

Immaginate di essere a una festa affollata piena di conversazioni. In un angolo, qualcuno sta discutendo del suo libro preferito; in un altro, un gruppo sta condividendo storie di viaggi. Mentre vi muovete, ascoltate pezzi di ogni conversazione, poi usate quegli spunti per contribuire a una nuova discussione. Il vostro cervello sta elaborando tutti questi input, decidendo quali sono importanti e aiutandovi a rispondere in modo appropriato.

I Transformer lavorano in modo molto simile: sono eccezionali nel comprendere e generare linguaggio prestando attenzione al contesto delle parole nelle frasi, molto come facciamo noi prestando attenzione a varie conversazioni a una festa.

L’innovazione chiave nei Transformer è il cosiddetto Attention Mechanism. Questo permette al modello di concentrarsi su diverse parti del testo di input quando prova a prevedere un output. Pensate a quando leggete un libro e alcune frasi vi ricordano qualcos’altro, attirando momentaneamente la vostra attenzione su quel pensiero prima di riportarvi alla frase corrente con una comprensione più profonda.

In termini tecnici, questo meccanismo aiuta il modello a decidere quali parole o quali parti del testo sono importanti in relazione ad altre, migliorando la sua capacità di comprendere contesto e significato.

AI Product Management:
un nuovo ciclo di sviluppo su misura per l’AI

Nell’ambito del Product Management, una delle strategie più utilizzate e più efficaci per raccogliere feedback e sondare l’interesse degli utenti verso nuove funzionalità è il concetto del Minimum Viable Product (MVP).

Tuttavia, l’integrazione dell’Intelligenza Artificiale in un MVP, pur essendo un’idea seducente, può portare a sfide complesse e potenziali errori se contestualizzata all’interno del mercato odierno. Il processo di sviluppo di un MVP basato sull’AI, che comprende l’addestramento di un modello AI o l’integrazione di funzionalità AI-powered, richiede settimane di lavoro meticoloso e la collaborazione di diversi reparti tecnologici.

Questo include:

  • l’impiego di figure professionali specializzate come esperti di Ethical AI, di sicurezza e linguisti;
  • Inoltre, è essenziale testare accuratamente il prodotto per garantire che i risultati forniti, in particolare quelli basati su LLM e capacità conversazionali, siano conformi ai requisiti funzionali e agli standard di mercato.

Il metodo delle “fake door”

Nonostante l’avanzamento dell’AI, alcune tecniche tradizionali di Product Management rimangono valide. Ad esempio, il metodo delle “fake door”, una tecnica di validazione del mercato che prevede la presentazione di un prodotto o funzionalità non ancora sviluppati attraverso annunci, pagine web o interfacce per misurare l’interesse reale, è ancora efficace.

È fondamentale comprendere che l’AI non dovrebbe mai essere impiegata per “testare” l’esistenza di un mercato nell’ambito della Product Delivery. L’implementazione di modelli AI deve essere il frutto di una approfondita product discovery, con analisi quantitative che confermino l’adeguatezza della soluzione AI rispetto al problema da risolvere.

MVP e AI

Un altro aspetto cruciale è il livello di aspettativa degli utenti. In un settore dove l’AI è sempre più presente, le aspettative relative alle capacità e all’affidabilità di queste soluzioni sono elevate. Un MVP basato su un modello AI incompleto rischia di deludere gli utenti, danneggiando la reputazione del prodotto e la brand identity. Inoltre, i KPI utilizzati per analizzare l’MVP potrebbero fornire risultati incoerenti a causa dell’incompletezza della funzionalità.

D’altra parte, l’attuale disponibilità di strumenti e piattaforme basate sull’AI facilita la trasformazione di un’idea in realtà, semplificando la costruzione di interfacce e layer applicativi. Con l’AI, le idee possono essere concretizzate quasi istantaneamente, riducendo l’importanza della prototipazione tradizionale. Ciò sta portando a un cambiamento nei framework di product delivery, dove il ruolo del classico MVP sta diminuendo, pur mantenendo valide tecniche a basso sforzo come le fake door. Contemporaneamente, aumenta la possibilità di realizzare prodotti completi con sforzi ridotti, sfruttando le potenzialità offerte dai tool di produzione software basati sull’AI.

Il ruolo dell’AI Product Manager, in questo scenario, si rivela decisivo per individuare il trade off ideale fra prototipazione, validazione del mercato e investimenti di delivery.

Il ruolo dell’AI Product Manager tra Product Delivery e framework di sviluppo Agile

Andando oltre il concetto di MVP e prototipazione, un altro punto saldo del processo di Product Delivery è rappresentato dall’implementazione dei framework di sviluppo Agile.

L’adozione dell’approccio Agile ha segnato una svolta significativa nella gestione e nello sviluppo dei prodotti, evidenziando l’importanza di adattarsi rapidamente alle esigenze del mercato e ai feedback degli utenti con rilasci incrementali e ritmi costanti.

Questa dinamica si evolve ulteriormente quando si tratta di prodotti basati sull’intelligenza artificiale. La gestione di questi prodotti richiede un processo di delivery estremamente flessibile, continuo e meno vincolato a tempistiche rigide. A causa dell’evoluzione costante dell’AI, è necessario aggiornare regolarmente i prodotti, andando oltre la manutenzione e il raffinamento tradizionali delle funzionalità. Iterazioni frequenti sono fondamentali per riaddestrare i modelli AI, aggiornare i dataset e affrontare problemi etici o di sicurezza, garantendo che il prodotto rimanga funzionale, all’avanguardia e competitivo.

Per affrontare queste sfide, ci sono due approcci che stanno lentamente prendendo piede nel ciclo di product delivery di prodotti AI-Based: gli Sprint di Ricerca e Sviluppo (R&D) e gli Sprint paralleli.

Gli Sprint di Ricerca e Sviluppo (R&D)

Gli Sprint di R&D sono periodi intensivi in cui i team tecnici si dedicano all’esplorazione e allo sviluppo di nuove tecnologie, metodologie o processi. Questi sprint, separati da quelli di sviluppo prodotto standard, permettono ai team di concentrarsi sulla ricerca, sperimentazione e risoluzione di sfide tecniche complesse, migliorando le scelte strategiche e tecnologiche che guidano l’evoluzione del prodotto.

Gli Sprint paralleli

D’altra parte, gli Sprint Paralleli mirano a bilanciare la focalizzazione degli Sprint di R&D su avanzamenti tecnologici, permettendo la formazione di team di prodotto dedicati esclusivamente al miglioramento della stabilità, capacità e struttura dei modelli AI. Allo stesso tempo, altri membri dei team tecnologici si dedicano alle attività di mantenimento e sviluppo ordinario del prodotto. La durata di questi sprint paralleli può variare rispetto a quella degli sprint tradizionali, ma entrambi i team lavorano simultaneamente su aspetti distinti del prodotto, collaborando quando necessario.

A differenza dell’approccio incrementale tradizionale, che si basa su aggiornamenti pianificati e fasi di implementazione, lo sviluppo di prodotti AI richiede una maggiore flessibilità e reattività. La necessità di adattarsi rapidamente a nuove scoperte e cambiamenti tecnologici rende lo sviluppo AI un processo dinamico e in costante evoluzione, esigendo un approccio di management altrettanto agile e innovativo. In questo contesto, gli Sprint di R&D e gli Sprint paralleli rappresentano soluzioni strategiche cruciali per i Product Manager che mirano a navigare con successo nel complesso panorama dell’intelligenza artificiale.

La Customer Centricity nell’AI Product Management

Anche in un mondo completamente nuovo e tecnologicamente di frontiera come quello della Generative AI, ci sono alcuni principi fondamentali e domini di competenza del Product Management che conservano un’importanza cruciale per il successo aziendale, e che vengono mantenuti nel passaggio all’AI Product Management.

Tra tutti questi principi, particolare attenzione va posta alla “shiny object trap”. Questo rischio, che consiste nel seguire in modo acritico le ultime tendenze tecnologiche, si rivela particolarmente insidioso nell’ambito dell’AI, dove gli investimenti richiesti per sviluppare prodotti basati su tecnologie generative sono significativamente maggiori, specialmente se confrontati con le controparti tecnologiche più deterministiche e controllabili.

Seguire ciecamente le ultime novità tecnologiche, infatti, finisce per depotenziare e annullare il lavoro svolto durante la definizione della Product Strategy e dei piani commerciali, portando così l’azienda ad un’enorme dispersione di effort e risorse, nonché ad un indebolimento nel tempo del posizionamento sul mercato.

Qui l’AI Product Manager deve farsi carico della definizione del problema di business che si intende risolvere con l’AI, avendo cura di convalidarne la soluzione attraverso delle analisi di mercato dedicate e cercando il più possibile di rimanere “unbiased” nei confronti di questa nuova era tecnologica.

Anche il famoso “triangolo del Product Management”, che equilibra desiderabilità, fattibilità e sostenibilità, rimane un modello imprescindibile. Questo framework assicura che i prodotti sviluppati non solo incontrino le esigenze degli utenti (Desirability), ma siano anche tecnicamente realizzabili (Feasibility) e sostenibili a livello economico per l’azienda (Viability). 

Il grande cambiamento, nell’ambito dell’AI Product Management, è proprio negli ultimi due spigoli del triangolo: da un lato l’analisi di fattibilità tecnica è diventata una sfida ancora più complicata rispetto al passato, dall’altro i requisiti economici per costruire ed evolvere nel tempo una collezione di AI Model o di AI Product non sono affatto trascurabili, e possono fare la differenza nella decisione aziendale di investire sull’AI.

Nel contesto della Feasibility, l’AI Product Manager, collaborando strettamente con i team tecnici, deve confrontarsi con uno stato dell’arte in continua evoluzione. Ciò comporta la necessità di rivalutare costantemente l’efficacia dei framework, delle librerie e dei paradigmi descritti dalla letteratura. Entrano in gioco domande come: “Stiamo investendo sull’AI Approach corretto?” oppure “Abbiamo davvero le competenze tecniche per gestire una complessità in continua evoluzione come questa?”. Ancora una volta, il ruolo dell’AI Product Manager emerge come custode del trade off fra attrazione inevitabile verso la “magia” delle nuove tecnologie e una più pragmatica analisi degli impatti commerciali e di valore intrinseco da offrire al mercato.

In questo contesto, la Market Analysis, o Market Intelligence, assume un’importanza ancora maggiore. Essa garantisce un monitoraggio costante delle tendenze di mercato, delle strategie dei competitor e della naturale evoluzione della tecnologia.

Mentre precedentemente la responsabilità della Market Analysis era prevalentemente assegnata ai Product Manager, oggi stiamo assistendo ad un trend verso un approccio più collaborativo, coinvolgendo attivamente anche i dipartimenti tecnologici.

In sintesi, la Market Analysis in ambito AI non può più essere realmente condotta in autonomia. Se si vuole realmente investire in un prodotto AI-powered, è necessario combinare le competenze tecniche dei dipartimenti di ingegneria e la sensibilità user-centric e commerciale dei Product Manager. 

AI Product Manager:
un nuovo approccio alle metriche di prodotto

L’adozione sempre più diffusa di funzionalità basate sull’intelligenza artificiale, modelli predittivi e agenti intelligenti sta trasformando radicalmente il ruolo dei Product Manager.

Le metriche tradizionali di valutazione del prodotto, una volta considerate pilastri solidi per misurare il suo successo, ora devono essere riviste e aggiornate per rimanere pertinenti.

Questo cambiamento non si limita semplicemente all’incorporazione di nuove tecnologie ma implica una ridefinizione completa della misurazione del successo, assicurandosi che l’impatto dell’AI sulle metriche chiave sia sia benefico che comprensibile. Vediamo come i Product Manager stanno adeguando le loro metriche di valutazione nell’era dell’intelligenza artificiale.

Affrontare la sfida di comprendere appieno l’impatto, sia positivo che negativo, dell’AI sulle metriche tradizionali come engagement, retention e satisfaction richiede un approccio innovativo. I Product Manager stanno raffinando i loro sistemi di misurazione per includere un livello più profondo di KPI Explainability, decomponendo le metriche fondamentali in sotto-categorie direttamente influenzate dall’IA. Questa strategia non solo quantifica l’effetto dell’AI sulle metriche critiche ma fornisce anche insight preziosi che riflettono le reali dinamiche commerciali del prodotto.

L’importanza di questo approccio risiede nella sua capacità di garantire che l’integrazione dell’IA non solo promuova l’avanzamento tecnologico ma si allinei anche strettamente con gli obiettivi di business. I Product Manager diventano così il collegamento essenziale tra gli specialisti dell’IA e i clienti, puntando a generare valore tangibile per gli utenti. Questo significa che le metriche incentrate esclusivamente sulla performance quantitativa dei modelli di AI potrebbero non essere in linea con le priorità aziendali, spostando l’attenzione verso indicatori che riflettono l’impatto dell’IA sull’esperienza utente e il successo complessivo del prodotto.

Analizzando metriche tecniche come il Throughput e la Latency, risulta evidente come queste influenzano in modi diversi l’esperienza utente e l’efficienza tecnologica.

Il Throughput, che misura la capacità di un sistema AI di processare richieste in un determinato lasso di tempo, e la Latency, che indica il tempo di attesa per ricevere una risposta dal sistema, sono entrambi cruciali. Tuttavia, mentre il Throughput si concentra sull’efficienza del sistema, la Latency ha un impatto diretto sulla soddisfazione dell’utente, evidenziando l’importanza di bilanciare questi aspetti tecnici con le esigenze reali degli utenti.

Ridefinire le metriche per l’integrazione dell’IA in un prodotto richiede quindi un’attenta selezione di KPI che rispecchino veramente il valore proposto dal prodotto e la soddisfazione degli utenti. Questo approccio enfatizza l’importanza per i Product Manager di valutare le metriche tecniche mantenendo sempre al centro l’impatto sulle performance di business.

Allo stesso tempo, non bisogna mai trascurare le metriche influenzate dai feedback degli utenti, sia espliciti che impliciti, che forniscono insight preziosi sulle performance del prodotto alimentato da IA. Riconoscere che i modelli di IA possono fallire e comprendere i motivi di questi fallimenti è cruciale per un monitoraggio efficace e per l’evoluzione del prodotto.

Questo sottolinea ancora una volta l’importanza per i Product Manager di immergersi nel mondo tecnologico per comprendere e monitorare le metriche tecniche che impattano sul business.

La metrica del Rouge Score

Un esempio interessante è il Rouge Score, particolarmente pertinente nel contesto del mercato attuale, dominato dai modelli linguistici e dalle interfacce conversazionali.

Il ROUGE (Recall-Oriented Understudy for Gisting Evaluation) è una metrica usata per valutare la qualità delle produzioni testuali e dei riassunti di testo generati da sistemi di intelligenza artificiale, come i Large Language Models (LLM).

Il Rouge Score funge da misura quantitativa della qualità del linguaggio prodotto da un LLM, permettendo ai Product Manager di valutare quanto il testo generato si avvicini a quello che potrebbe scrivere un essere umano. Il ROUGE aiuta a determinare quanto bene i riassunti catturino i concetti chiave dei testi originali, pertanto miglioramenti nel punteggio ROUGE indicano che il modello linguistico sta diventando più efficace nel catturare informazioni cruciali e di valore per il caso d’uso, elemento fondamentale per la soddisfazione dell’utente.

Più nello specifico, possiamo dire che il punteggio ROUGE valuta la similarità tra una produzione testuale generata da un Language Model e quelle prodotte da un essere umano, analizzando la presenza di parole e frasi comuni in entrambe le versioni. Un punteggio alto indica che l’AI è stata efficace nel riprodurre i punti principali e nel mantenere un flusso naturale del testo, assicurando accuratezza e leggibilità.

In pratica, l’impiego del ROUGE Score da parte di un Product Manager in un prodotto basato sull’intelligenza artificiale rappresenta un arricchimento significativo per il sistema di valutazione delle prestazioni, specialmente nei KPI legati all’engagement e alla soddisfazione degli utenti.

L’accesso a dati quantitativi offerti da metriche avanzate come il ROUGE consente di superare i limiti imposti dal solo ricorso a feedback espliciti o ad analisi basate su inferenze dai feedback impliciti.

Questo approccio evidenzia la necessità per il Product Management di avvicinarsi sempre più alla tecnologia, immergendosi nelle sue complessità per fungere efficacemente da collegamento con l’ambito business e guidare il prodotto e l’azienda verso il successo.

Dicci cosa ne pensi

Le slide sono disponibili per studenti ed ex studenti del Master in Product Management

Accedi a "Agile Starter Kit" Gratis

Iscriviti alla newsletter e accedi ad Agile Starter Kit: la cartella che contiene oltre 70 pagine su Agile, Scrum / Kanban, Organizzazione Team, User Story, Backlog, e tutto ciò che ti serve per partire.

Scarica il post sulle alternative a Scrum

Iscriviti alla newsletter e scarica gratuitamente il post "Agile Scrum: Alternative più flessibili e agili"