Algemene AI-benchmarks zeggen te weinig over klantenservice
Als je een AI-model kiest, lijkt de logica simpel: neem het slimste model dat beschikbaar is. Zeker als dat model bovenaan de bekende AI-benchmarks staat. Voor klantenservice blijkt die logica alleen niet altijd op te gaan.
Veel bekende AI-benchmarks meten hoe goed modellen zijn in taken als programmeren, wiskunde, kennisvragen en complexe redeneerproblemen. Dat zegt veel over de algemene capaciteiten van een model, maar veel minder over de vraag of dat model ook een goede AI Agent voor klantenservice is.
Een klant formuleert zijn vraag namelijk zelden perfect. Hij zegt bijvoorbeeld: “Mijn bestelling zou gisteren komen, maar ik heb nog niks. Kunnen jullie kijken waar hij blijft?”
De AI Agent moet vervolgens begrijpen wat de klant probeert te bereiken. Daarna moet hij misschien de bestelling opzoeken, de actuele status controleren, bepalen welke informatie gedeeld mag worden en de juiste vervolgstap uitvoeren.
Niet alleen het antwoord moet dus kloppen. Het hele proces moet kloppen.
Daarom ontwikkelden we CM-ServiceBench
CM-ServiceBench test AI-modellen op complete klantenservicegesprekken. Niet alleen op het uiteindelijke antwoord, maar op alles wat onderweg goed moet gaan: redeneren, de juiste tools gebruiken, workflows correct uitvoeren en binnen de juiste grenzen blijven.
Daarbij kijken we naar drie onderdelen:
De juiste route kiezen
De eerste stap is begrijpen wat een klant daadwerkelijk probeert te bereiken. Dat klinkt eenvoudig, totdat klanten dingen onvolledig, dubbelzinnig of op een onverwachte manier formuleren.
Een goede AI Agent moet dan alsnog de juiste intentie herkennen en bepalen wat er moet gebeuren. Een verkeerde keuze aan het begin van het gesprek kan ervoor zorgen dat alles wat daarna gebeurt technisch correct is, maar alsnog naar de verkeerde uitkomst leidt.
Workflows correct uitvoeren
Veel klantvragen bestaan niet uit één antwoord. Een retour aanmelden, een afspraak wijzigen of de status van een bestelling controleren bestaat vaak uit meerdere stappen: de klant identificeren, gegevens ophalen, controleren of aan voorwaarden wordt voldaan, een keuze maken en uiteindelijk een actie uitvoeren.
Daarbij telt ook de volgorde. Een agent die vijf van de zes stappen goed uitvoert, kan alsnog een verkeerde uitkomst opleveren. Dat maakt klantenservice fundamenteel anders dan alleen een goed antwoord genereren. Een AI Agent moet een proces betrouwbaar kunnen volgen en uitvoeren.
Binnen de juiste grenzen blijven
Een goede AI Agent moet ook weten wat hij niet moet doen. Geen informatie verzinnen, geen interne instructies delen, geen gegevens tonen die niet voor de klant bedoeld zijn en geen acties uitvoeren wanneer daarvoor onvoldoende informatie beschikbaar is.
Voor een AI Agent in productie is dat geen extra feature. Het is een basisvoorwaarde. Een agent is pas bruikbaar wanneer hij niet alleen behulpzaam is, maar ook voorspelbaar.
Hoe beoordeel je een gesprek?
In CM-ServiceBench laten we modellen honderden klantgesprekken afhandelen in verschillende scenario’s en talen. Een tweede AI speelt daarbij de klant. Die krijgt een eigen doel, context en informatie mee en voert vervolgens een gesprek met de AI Agent die we testen.
De scenario’s zijn gebaseerd op patronen die we in echte klantenserviceprocessen tegenkomen. Vervolgens beoordelen we niet alleen het uiteindelijke antwoord, maar het volledige verloop van het gesprek. Heeft het model de juiste route gekozen? Zijn de juiste tools en acties gebruikt? Zijn stappen in de goede volgorde uitgevoerd? Is informatie correct verwerkt? En heeft het gesprek uiteindelijk de juiste uitkomst?
Dat onderscheid is belangrijk. Een model kan namelijk een overtuigend antwoord geven en toch achter de schermen het verkeerde proces uitvoeren. Voor de klant lijkt het gesprek dan goed te gaan, totdat blijkt dat de afspraak niet is gewijzigd, de verkeerde informatie is opgehaald of de klant alsnog bij de verkeerde afdeling terechtkomt.
Strict versus partial: Wanneer is een gesprek écht geslaagd?
Een gesprek kan grotendeels goed gaan en toch ergens onderweg een fout bevatten. Daarom kijken we in CM-ServiceBench op twee manieren naar het resultaat: partial en strict.
Bij partial telt mee hoeveel onderdelen van het gesprek correct zijn uitgevoerd. Strict is strenger: alleen wanneer het volledige gesprek correct verloopt, telt het als geslaagd.
Voor klantenservice is juist dat verschil belangrijk. Een model dat negen van de tien stappen goed uitvoert, kan alsnog een verkeerd resultaat voor de klant opleveren.
Dan ziet de ranglijst er ineens anders uit
Wanneer we modellen op deze manier testen, ziet de ranglijst er anders uit dan je op basis van algemene AI-benchmarks misschien verwacht. In onze tests behoren juist compacte modellen uit de GPT-5.6-familie tot de sterkst presterende modellen voor deze servicetaken.
Model | Strict | Partial |
|---|---|---|
GPT-5.6 Luna met thinking | 71 | 92 |
GPT-5.6 Terra | 69 | 91 |
GPT-5.6 Sol | 66 | 90 |
GPT-5.6 Luna | 63 | 88 |
Opus 4.6 | 63 | 90 |
GPT-5.5 | 61 | 88 |
Sonnet 5 | 58 | 86 |
Het interessante zit niet alleen in welk model bovenaan staat. Kijk bijvoorbeeld naar GPT-5.6 Terra en Opus 4.6. Opus 4.6 scoort sterk op partial, maar lager op strict. Het model komt dus vaak ver in het proces, maar rondt minder gesprekken volledig correct af.
GPT-5.6 Terra doet dat in onze tests vaker wel. Voor de klant is juist dat verschil relevant. Niet hoe indrukwekkend het redeneren onderweg is, maar of het probleem aan het einde daadwerkelijk is opgelost.
Groter betekent niet betrouwbaarder
Dat betekent niet dat grotere modellen slechter zijn. Grotere modellen zijn juist ontworpen om een breed scala aan complexe taken uit te voeren. Die extra capaciteit kan waardevol zijn wanneer een agent ingewikkelde afwegingen moet maken, veel context moet verwerken of minder voorspelbare problemen moet oplossen.
Maar niet iedere servicetaak vraagt daarom. Voor veel processen draait kwaliteit juist om consequent dezelfde instructies volgen, de juiste tools gebruiken en geen stappen overslaan. Meer algemene intelligentie levert daar niet automatisch een betere uitkomst op.
Je kunt daardoor betalen voor extra modelcapaciteit zonder dat dit voor die specifieke taak tot betere prestaties leidt.
Snelheid is óók kwaliteit
Een benchmarkscore vertelt bovendien niet het hele verhaal. Een AI Agent praat met mensen. Reactietijd is daardoor direct onderdeel van de ervaring. Als een model bij ieder bericht meerdere seconden langer nodig heeft, voelt een gesprek al snel traag. Bij voice wordt dat nog belangrijker, omdat iedere extra stilte direct merkbaar is.
Daarom kijken we binnen CM-ServiceBench naast betrouwbaarheid ook naar reactietijd.
CM-ServiceBench: prestatie versus snelheid
Elke stip is een model. Hoe verder naar links, hoe sneller het model reageert. Hoe hoger, hoe meer gesprekken volledig correct worden afgerond.
De grafiek laat zien waarom er niet één simpele winnaar is. GPT-5.5 reageert met gemiddeld 1,8 seconde per bericht het snelst, maar haalt niet de hoogste strict-score. GPT-5.6 Luna met thinking zit aan de andere kant: met een strict-score van 71 presteert het het best in deze benchmark, maar daar staat met gemiddeld 3,2 seconden wel meer reactietijd tegenover.
GPT-5.6 Terra zit daar tussenin. Het haalt een hoge strict-score van 69 bij een gemiddelde reactietijd van 2,8 seconden. Daarmee laat de benchmark goed zien waar modelkeuze in de praktijk om draait: niet alleen om de hoogste score, maar om de beste verhouding tussen kwaliteit en snelheid voor een specifieke taak.
En daar komt nog een derde factor bij: kosten. Een model dat iets beter scoort, maar structureel meer rekentijd en capaciteit gebruikt, hoeft niet automatisch de beste keuze te zijn voor een proces dat duizenden keren per dag wordt uitgevoerd.
Het beste model verschilt per taak
De vraag “wat is het beste AI-model?” is daarom eigenlijk te algemeen. Een betere vraag is: wat is het beste model voor deze agent en deze taak?
Voor een voorspelbare workflow kan een compact en snel model de beste keuze zijn. Bij een complexere agent, waarin meerdere afwegingen nodig zijn of veel context moet worden verwerkt, kan extra reasoning juist waarde toevoegen. En bij processen waar iedere seconde telt, kan een sneller model interessanter zijn, ook als een ander model iets hoger scoort op strict.
Dat betekent ook dat je niet voor je hele klantenservice één model hoeft te kiezen. De ene AI Agent kan iets heel anders nodig hebben dan de andere. En zelfs binnen één agent kan een eenvoudige classificatie een andere modelkeuze vragen dan een complexe analyse of actie.
De belangrijkste les uit CM-ServiceBench is daarom niet dat één specifiek model wint. Het is dat je modellen moet beoordelen op het werk waarvoor je ze daadwerkelijk inzet. Algemene benchmarks zijn interessant, maar je wilt uiteindelijk weten welk model jouw proces het betrouwbaarst uitvoert tegen een snelheid en prijs die daarbij passen.
Modelkeuze in HALO
Binnen HALO werken we daarom niet met één vast model voor alles. Je bepaalt zelf welk AI-model je per agent gebruikt en kunt ook per tool een ander model inzetten. Zo gebruik je extra modelkracht waar die daadwerkelijk iets toevoegt, in plaats van standaard ieder proces door het grootste model te laten uitvoeren.
Die keuze blijft bovendien veranderen. Nieuwe modellen verschijnen, bestaande modellen worden verbeterd en verschillen in prestaties, snelheid en kosten verschuiven continu. Met CM-ServiceBench kunnen we modellen daarom steeds opnieuw testen op dezelfde servicetaken en keuzes blijven onderbouwen met actuele resultaten.
