Assistenti digitali: le metriche per migliorare le conversazioni
Quali metriche è necessario osservare per migliorare le conversazioni di un assistente digitale (chatbot, voicebot, applicazioni vocali, ecc.)? Una volta che l'assistente viene messo a disposizione degli utenti, inizia la fase di ottimizzazione dell'esperienza!
Come Conversation Designer progettiamo gli assistenti digitali nel miglior modo possibile, analizzando le problematiche, costruendo flussi ed effettuando test accurati (es. il Mago di Oz).
Una volta che gli agenti conversazionali vengono messi a disposizione degli utenti, però, inizia una fase altrettanto importante, ovvero il miglioramento dell'esperienza dell'utente. Per fare questo dovremo raccogliere dati ed osservare alcune metriche. In questo post, cerco di sintetizzare le più importanti.
Numero di conversazioni giornaliere
Se si tratta di un assistente addetto al customer service, l'aumento delle sessioni giornaliere potrebbe non essere un buon segnale, perché probabilmente indica che le informazioni a disposizione dell'utente presentano delle lacune. Se invece si tratta di un'applicazione vocale di gioco o di un chatbot dedicato alla lead generation, l'aumento delle conversazioni è parte dell'obiettivo.
Quindi attenzione alla metrica, ma anche all'obiettivo.
Il punteggio medio di "confidence"
Nel momento in cui l'intelligenza artificiale riceve l'espressione di un utente stabilisce un punteggio di "confidence" in relazione alle informazioni della base di conoscenza. Tali punteggi permettono al sistema di determinare (o meno) l'intento dell'utente.
L'analisi del valore medio di questa metrica rappresenta un buon indicatore, ma va contestualizzata con le richieste.
Precisione NLU (Natural Language Understanding) interna
Dopo aver addestrato il modello attraverso le frasi di training legate agli intenti, è necessario continuare a testare il sistema per capire se c'è ambiguità tra di essi.
Questo è particolarmente indicato subito dopo la pubblicazione e dopo una modifica importante.
Alcune piattaforme di NLU come Dialogflow di Google offrono dei sistemi di controllo delle potenziali problematiche legate ad un assistente.
Precisione NLU esterna
Anche in presenza di un "modello perfetto", il modo di esprimersi degli utenti è imprevedibile e cambia nel tempo.
È necessario analizzare costantemente i chatlog, ampliando/migliorando il training degli agenti conversazionali. Solitamente, le piattaforme di NLU, possiedono sistemi evoluti per farlo in maniera rapida.
Tasso di "handover"
Questa metrica indica la frequenza con cui una conversazione viene trasferita a un canale live, ad esempio una chat con operatore umano.
La valutazione del tasso, chiaramente dipende dallo scopo del progetto. Solitamente questi sistemi vengono progettati per far processare al bot le richieste più semplici e ricorrenti, per passare all'operatore umano quelle più complesse che richiedono flussi articolati.
Containment rate
Il numero di interazioni che risolvono la problematica all'interno dello stesso canale. Ancora una volta, anche in questo caso, la valutazione della metrica dipende dal tipo di progetto.
Chiaramente, più gli assistenti digitali diventano transazionali e, e più le conversazioni si allungano, più il tasso di contenimento tende a diminuire.
Soddisfazione del cliente
Ogni brand è interessato a misurare la soddisfazione del cliente. È una metrica importante per i chatbot e gli assistenti vocali. Tuttavia, non è sempre facile da misurare perché le persone tendono a darne una valutazione solo quando non sono soddisfatte.
Il modo migliore per comprendere la soddisfazione del cliente è chiedergli informazioni in modo colloquiale.
Non è sempre consigliabile usare il pollice in alto o il pollice in basso.
Numero di "live engagement"
Si tratta delle interazioni con gli utenti effettuate dagli addetti al customer care. Chiaramente questo dato non viene tracciato dalle statistiche della piattaforma conversazionale, ma la sua variazione può far comprendere l'efficacia dell'assistente digitale.. i brand utilizzano un bot per ridurre il numero di interazioni live, perché sono molto più costosi delle chiamate API.
Durata media delle conversazioni
In relazione ad altre metriche, rappresenta un dato utilissimo per comprendere se l'esperienza dell'utente è ottimale.
Ci sono molti aspetti da monitorare. Ogni interazione che le persone generano con un assistente digitale produce dati, e ognuno di essi può essere utile ad ottimizzare l'esperienza utente per renderla straordinaria.
Per approfondire
Alessio Pomaro
