Il modello di AI più grande non è sempre il migliore per il servizio clienti

Perché i benchmark AI generici dicono poco sul servizio clienti

La maggior parte dei benchmark per l'AI valuta competenze come la programmazione, la matematica, la cultura generale o il ragionamento complesso. Sebbene siano utili per comprendere il potenziale di un modello, dicono ben poco su come si comporterà un agente AI durante una conversazione reale con un cliente.

I clienti, infatti, raramente formulano le proprie domande in modo perfetto. Potrebbero dire, ad esempio: "Il mio ordine doveva arrivare ieri, ma non ho ancora ricevuto nulla. Potete verificare dove si trova?"

Da quel momento, l'agente AI deve comprendere le esigenze del cliente, individuare l'ordine, verificarne lo stato, stabilire quali informazioni può condividere e completare correttamente il passaggio successivo.

Non basta fornire la risposta corretta. L'intero processo deve funzionare.

Cos'è CM-ServiceBench e come valuta i modelli di AI

CM-ServiceBench valuta i modelli di AI attraverso conversazioni complete di assistenza clienti.

Invece di limitarsi ad analizzare la risposta finale, esamina ogni fase del processo: il ragionamento, l'uso degli strumenti corretti, la corretta esecuzione dei flussi di lavoro e il rispetto dei limiti di sicurezza.

Ci concentriamo su tre aree fondamentali:

Scegliere il percorso corretto

Tutto inizia dal comprendere cosa desideri davvero il cliente. Sembra semplice, finché non arriva una richiesta incompleta, ambigua o inaspettata.

Un buon agente AI deve identificare correttamente l'intento e decidere quali passaggi seguire. Se sbaglia all'inizio, può eseguire alla perfezione tutto il resto e arrivare comunque al risultato errato.

Eseguire correttamente i flussi di lavoro

La maggior parte delle richieste di assistenza clienti richiede molto più della semplice generazione di una risposta.

Gestire un reso, riprogrammare un appuntamento o verificare lo stato di un ordine può richiedere l'identificazione del cliente, il recupero dei suoi dati, la verifica di determinati requisiti, l'adozione di una decisione e l'esecuzione di un'azione.

E l'ordine è fondamentale. Se un agente completa correttamente cinque passaggi su sei, il risultato può comunque essere errato.

È qui che risiede una delle grandi differenze tra generare una buona risposta e risolvere davvero una richiesta: un agente AI deve essere in grado di seguire ed eseguire l'intero processo in modo affidabile.

Sapere anche cosa non fare

Un buon agente AI non deve solo sapere come agire, ma deve anche riconoscere quando non deve farlo.

Non dovrebbe inventare informazioni, condividere istruzioni interne, mostrare dati che non appartengono al cliente o eseguire un'azione se non dispone di informazioni sufficienti.

Quando si parla di un agente AI in produzione, essere utile non basta. Deve anche essere prevedibile.

Come valutiamo una conversazione di assistenza clienti?

Con CM-ServiceBench facciamo gestire ai modelli centinaia di conversazioni in situazioni e lingue diverse.

Una seconda AI assume il ruolo del cliente, con un proprio obiettivo, contesto e informazioni, e avvia una conversazione con l'agente sotto valutazione. Gli scenari si basano su dinamiche reali di assistenza clienti.

Successivamente analizziamo l'intera conversazione: ha compreso correttamente l'intento? Ha utilizzato gli strumenti adeguati? Ha eseguito i passaggi nell'ordine corretto? Ha elaborato bene le informazioni? Ha ottenuto il risultato sperato?

Questa differenza è importante. Un modello può fornire una risposta molto convincente e, allo stesso tempo, eseguire il processo in modo errato.

Per il cliente tutto può sembrare corretto, finché non scopre che l'appuntamento non è mai stato riprogrammato, che sono stati consultati dati errati o che la sua richiesta è finita nel reparto sbagliato.

Come misura CM-ServiceBench le prestazioni dei modelli di AI?

Una conversazione può funzionare abbastanza bene e contenere comunque qualche errore. Per questo motivo CM-ServiceBench misura i risultati utilizzando due criteri: parziale e rigoroso.

Il punteggio parziale misura quante singole parti della conversazione sono state eseguite correttamente.

Il criterio rigoroso va oltre: considera una conversazione riuscita solo quando l'intero processo è stato completato senza errori.

Nel servizio clienti questa differenza è fondamentale. Un modello può eseguire correttamente nove passaggi su dieci e fornire comunque al cliente un risultato errato.

Quando si cambia criterio, la classifica dei modelli AI cambia

Valutando i modelli in questo modo, la classifica cambia notevolmente rispetto ai benchmark generici.

Nei nostri test, i modelli compatti della famiglia GPT-5.6 sono tra quelli che offrono i migliori risultati nelle attività di assistenza clienti.

Ma l'aspetto interessante non è semplicemente quale modello occupi la prima posizione.

Se confrontiamo GPT-5.6 Terra e Opus 4.6, ad esempio, notiamo che Opus 4.6 ottiene un punteggio elevato nel criterio parziale, ma inferiore in quello rigoroso. In altre parole, tende a procedere correttamente per gran parte del processo, ma completa meno conversazioni dall'inizio alla fine senza commettere errori.

Nei nostri test, GPT-5.6 Terra mostra una maggiore costanza nel completamento delle attività.

E per il cliente questo è ciò che conta davvero: non quanto sia stato brillante il ragionamento durante il processo, ma che il suo problema sia stato risolto.

Un modello AI più grande non è necessariamente più affidabile

Questo non significa che i modelli più grandi siano peggiori. Sono progettati per affrontare una vasta gamma di compiti complessi e questa capacità può essere molto preziosa quando un agente deve prendere decisioni difficili, elaborare grandi quantità di contesto o gestire situazioni impreviste.

Ma non tutte le attività di assistenza clienti richiedono questo livello di complessità.

In molti processi, la qualità dipende dal seguire le istruzioni in modo coerente, dall'utilizzare gli strumenti giusti e dal non saltare alcun passaggio. In questi casi, una maggiore intelligenza generale non si traduce automaticamente in risultati migliori.

E rischiamo di finire per pagare per una capacità che quella specifica attività non richiede, senza ottenere in cambio alcun miglioramento delle prestazioni.

Anche la velocità del modello AI è importante nel servizio clienti

Le prestazioni non sono l'unico fattore che conta.

Gli agenti AI interagiscono direttamente con le persone e, di conseguenza, anche il tempo di risposta influisce sull'esperienza. Se ogni messaggio impiega diversi secondi in più ad arrivare, la conversazione inizia a sembrare lenta. Nei canali vocali, dove qualsiasi ritardo viene percepito immediatamente, questo fattore è ancora più cruciale.

CM-ServiceBench: prestazioni e velocità a confronto

Ogni punto rappresenta un modello. Più si trova a sinistra, più risponde rapidamente; più si trova in alto, maggiore è il numero di conversazioni completate senza errori.

Il grafico mostra perché non esiste un unico vincitore.

GPT-5.5 è il più veloce, con un tempo medio di risposta di 1,8 secondi per messaggio, ma non ottiene il punteggio rigoroso più alto. All'estremo opposto, GPT-5.6 Luna with thinking raggiunge il punteggio migliore del test (71), ma risponde più lentamente, con una media di 3,2 secondi.

GPT-5.6 Terra si colloca in una posizione intermedia: ottiene un punteggio rigoroso di 69 con un tempo medio di risposta di 2,8 secondi.

All'atto pratico, scegliere un modello significa proprio questo: trovare il giusto equilibrio tra qualità e velocità per ogni singola attività, e non semplicemente scegliere quello che ottiene il punteggio più alto.

E manca ancora una terza variabile: il costo.

Un modello che ottiene un punteggio leggermente superiore ma richiede molta più capacità di calcolo non è necessariamente l'opzione migliore per un processo che viene eseguito migliaia di volte al giorno.

Qual è il miglior modello di AI per l'assistenza clienti?

Chiedersi "qual è il miglior modello di AI?" è troppo generico.

La domanda davvero utile è:

Qual è il miglior modello per questo agente e per questa specifica attività?

Non esiste un unico modello di AI ideale per l'assistenza clienti. La scelta dipende dall'attività, dall'affidabilità richiesta, dalla velocità di risposta e dal costo.

Un modello compatto e veloce può essere perfetto per un flusso di lavoro prevedibile. Un agente che deve prendere decisioni complesse o elaborare grandi volumi di contesto può trarre vantaggio da capacità di ragionamento più avanzate. E quando ogni secondo conta, la velocità può avere un peso maggiore rispetto a una minima differenza di precisione.

Questo significa anche che non è necessario utilizzare un unico modello per l'intero servizio clienti. Ogni agente può avere requisiti diversi. Persino all'interno dello stesso agente, una semplice attività di classificazione può richiedere un modello diverso rispetto a quello utilizzato per un'analisi complessa o per eseguire determinate azioni.

La conclusione principale di CM-ServiceBench, quindi, non è l'esistenza di un modello vincitore, bensì il fatto che i modelli debbano essere valutati in base al lavoro che andranno effettivamente a svolgere.

I benchmark generici possono servire come riferimento. Tuttavia, per scegliere un modello per l'assistenza clienti abbiamo bisogno di informazioni molto più concrete: con quale affidabilità esegue i nostri processi, a quale velocità e a quale costo.

Come scegliere il modello di AI più adatto in HALO

HALO consente di selezionare il modello di AI più adatto in base alle esigenze di ciascun agente. È inoltre possibile assegnare modelli diversi a strumenti specifici, utilizzando le funzionalità più avanzate solo dove apportano reale valore.

Inoltre, questa decisione non è mai definitiva. Vengono rilasciati continuamente nuovi modelli, quelli esistenti si evolvono e cambiano anche i rapporti tra prestazioni, velocità e costi.

CM-ServiceBench ci consente di valutarli costantemente utilizzando le stesse attività di assistenza clienti, in modo che la selezione dei modelli si basi su dati reali e aggiornati.