El modelo de IA más grande no siempre es el mejor para atención al cliente

Los benchmarks generales dicen poco sobre la atención al cliente

La mayoría de los benchmarks de IA evalúan capacidades como programación, matemáticas, cultura general o razonamiento complejo. Son útiles para entender el potencial de un modelo, pero dicen poco sobre cómo se comportará como agente de IA en una conversación real con un cliente.

Porque los clientes rara vez formulan sus preguntas de forma perfecta. Pueden decir, por ejemplo: “Se suponía que mi pedido llegaría ayer, pero todavía no he recibido nada. ¿Podéis comprobar dónde está?”

A partir de ahí, el agente de IA tiene que entender qué necesita el cliente, localizar el pedido, comprobar su estado, determinar qué información puede compartir y ejecutar correctamente el siguiente paso.

No basta con acertar en la respuesta final. Todo el proceso tiene que funcionar.

Por qué hemos desarrollado CM-ServiceBench

CM-ServiceBench evalúa los modelos de IA a través de conversaciones completas de atención al cliente.

En lugar de analizar únicamente la respuesta final, examina cada paso del proceso: el razonamiento, el uso de las herramientas adecuadas, la correcta ejecución de los flujos de trabajo y el cumplimiento de los límites de seguridad.

Nos centramos en tres áreas fundamentales:

Elegir el camino correcto

Todo empieza por entender qué quiere realmente el cliente. Parece sencillo hasta que la petición llega de forma incompleta, ambigua o inesperada.

Un buen agente de IA debe identificar correctamente la intención y decidir qué pasos seguir. Si se equivoca al principio, puede ejecutar perfectamente todo lo demás y aun así llegar al resultado equivocado.

Ejecutar correctamente los flujos de trabajo

La mayoría de las consultas de atención al cliente requieren algo más que generar una respuesta.

Procesar una devolución, reprogramar una cita o consultar el estado de un pedido puede implicar identificar al cliente, recuperar sus datos, comprobar si cumple determinados requisitos, tomar una decisión y ejecutar una acción.

Y el orden importa. Si un agente completa correctamente cinco de seis pasos, el resultado puede seguir siendo incorrecto.

Ahí está una de las grandes diferencias entre generar una buena respuesta y resolver realmente una consulta: un agente de IA debe ser capaz de seguir y ejecutar todo el proceso de forma fiable.

Saber también qué no hacer

Un buen agente de IA no solo debe saber cómo actuar. También debe reconocer cuándo no hacerlo.

No debería inventar información, compartir instrucciones internas, mostrar datos que no corresponden al cliente ni ejecutar una acción cuando no dispone de información suficiente.

Cuando hablamos de un agente de IA en producción, ser útil no es suficiente. También tiene que ser predecible.

¿Cómo evaluamos una conversación?

Con CM-ServiceBench hacemos que los modelos gestionen cientos de conversaciones en diferentes situaciones e idiomas.

Una segunda IA adopta el papel del cliente, con su propio objetivo, contexto e información, y mantiene una conversación con el agente que estamos evaluando. Los escenarios se basan en patrones reales de atención al cliente.

Después analizamos la conversación completa: ¿entendió correctamente la intención?, ¿utilizó las herramientas adecuadas?, ¿ejecutó los pasos en el orden correcto?, ¿procesó bien la información?, ¿consiguió el resultado esperado?

Esta diferencia es importante. Un modelo puede dar una respuesta muy convincente y, al mismo tiempo, ejecutar incorrectamente el proceso.

Para el cliente, todo puede parecer correcto hasta que descubre que su cita nunca llegó a reprogramarse, que se consultaron datos equivocados o que su caso terminó en el departamento incorrecto.

¿Cómo mide CM-ServiceBench el rendimiento de los modelos de IA?

Una conversación puede funcionar razonablemente bien y, aun así, contener algún error. Por eso CM-ServiceBench mide los resultados utilizando dos criterios: parcial y estricto.

La puntuación parcial mide cuántas partes individuales de la conversación se han ejecutado correctamente.

El criterio estricto va más allá: solo considera que una conversación ha tenido éxito cuando todo el proceso se ha completado sin errores.

En atención al cliente, la diferencia es fundamental. Un modelo puede acertar en nueve de cada diez pasos y aun así ofrecer al cliente un resultado incorrecto.

Cuando cambiamos el criterio, cambia el ranking

Al evaluar los modelos de esta manera, la clasificación cambia considerablemente respecto a los benchmarks generales.

En nuestras pruebas, los modelos compactos de la familia GPT-5.6 se encuentran entre los que mejores resultados ofrecen en tareas de atención al cliente.

Pero lo interesante no es simplemente qué modelo ocupa la primera posición.

Si comparamos GPT-5.6 Terra y Opus 4.6, por ejemplo, vemos que Opus 4.6 obtiene una puntuación elevada en el criterio parcial, pero inferior en el estricto. Es decir, suele avanzar correctamente durante buena parte del proceso, pero completa menos conversaciones de principio a fin sin errores.

En nuestras pruebas, GPT-5.6 Terra muestra una mayor consistencia al completar la tarea.

Y para el cliente, eso es lo que realmente importa: no lo brillante que haya sido el razonamiento durante el proceso, sino que su problema se haya resuelto.

Más grande no significa necesariamente más fiable

Esto no significa que los modelos más grandes sean peores. Están diseñados para abordar una enorme variedad de tareas complejas y esa capacidad puede ser muy valiosa cuando un agente debe tomar decisiones difíciles, procesar grandes cantidades de contexto o enfrentarse a situaciones imprevistas.

Pero no todas las tareas de atención al cliente necesitan ese nivel de complejidad.

En muchos procesos, la calidad depende de seguir las instrucciones de forma consistente, utilizar las herramientas adecuadas y no saltarse ningún paso. En esos casos, una mayor inteligencia general no se traduce automáticamente en mejores resultados.

Y podemos acabar pagando por una capacidad que esa tarea concreta no necesita, sin obtener a cambio una mejora en el rendimiento.

La velocidad del modelo también importa en atención al cliente

El rendimiento no es el único factor que importa.

Los agentes de IA interactúan directamente con personas y, por tanto, el tiempo de respuesta también influye en la experiencia. Si cada mensaje tarda varios segundos más en llegar, la conversación empieza a resultar lenta. En voz, donde cualquier retraso se percibe inmediatamente, este factor es todavía más importante.

CM-ServiceBench: rendimiento frente a velocidad

Cada punto representa un modelo. Cuanto más a la izquierda se sitúa, más rápido responde; cuanto más arriba, mayor es el número de conversaciones completadas sin errores.

El gráfico muestra por qué no existe un único ganador.

GPT-5.5 es el más rápido, con un tiempo medio de respuesta de 1,8 segundos por mensaje, pero no obtiene la puntuación estricta más alta. En el otro extremo, GPT-5.6 Luna with thinking alcanza la mejor puntuación de la prueba (71), pero responde más lentamente, con una media de 3,2 segundos.

GPT-5.6 Terra se sitúa en un punto intermedio: obtiene una puntuación estricta de 69 con un tiempo medio de respuesta de 2,8 segundos.

En la práctica, elegir un modelo significa precisamente eso: encontrar el equilibrio adecuado entre calidad y velocidad para cada tarea, no simplemente escoger el que consigue la puntuación más alta.

Y todavía falta una tercera variable: el coste.

Un modelo que consiga una puntuación ligeramente superior pero necesite mucha más capacidad de cálculo no tiene por qué ser la mejor opción para un proceso que se ejecuta miles de veces al día.

¿Cuál es el mejor modelo de IA para atención al cliente?

Preguntar “¿cuál es el mejor modelo de IA?” es demasiado genérico.

La pregunta realmente útil es:

¿Cuál es el mejor modelo para este agente y esta tarea concreta?

No existe un único mejor modelo de IA para atención al cliente. La elección depende de la tarea, la fiabilidad necesaria, la velocidad de respuesta y el coste. Un modelo compacto y rápido puede ser perfecto para un flujo de trabajo predecible. Un agente que deba tomar decisiones complejas o procesar grandes volúmenes de contexto puede beneficiarse de capacidades de razonamiento más avanzadas. Y cuando cada segundo cuenta, la velocidad puede pesar más que una pequeña diferencia en precisión.

Esto también significa que no es necesario utilizar un único modelo para todo el servicio de atención al cliente. Cada agente puede tener requisitos distintos. Incluso dentro del mismo agente, una tarea sencilla de clasificación puede necesitar un modelo diferente al utilizado para un análisis complejo o para ejecutar determinadas acciones.

La principal conclusión de CM-ServiceBench, por tanto, no es que exista un modelo ganador. Es que los modelos deben evaluarse en función del trabajo que realmente van a realizar.

Los benchmarks generales pueden servir como referencia. Pero para elegir un modelo para atención al cliente necesitamos saber algo mucho más concreto: con qué fiabilidad ejecuta nuestros procesos, a qué velocidad y a qué coste.

Cómo elegir el modelo de IA adecuado en HALO

HALO permite seleccionar el modelo de IA más adecuado en función de las necesidades de cada agente. También puedes asignar modelos diferentes a herramientas específicas, utilizando capacidades más avanzadas únicamente allí donde aportan valor.

Y esta decisión nunca es definitiva. Aparecen nuevos modelos, los existentes evolucionan y también cambian las relaciones entre rendimiento, velocidad y coste.

CM-ServiceBench nos permite evaluarlos continuamente utilizando las mismas tareas de atención al cliente para que la selección de modelos se base en datos reales y actualizados.