Cómo probar la IA de atención al cliente antes de ponerla en marcha

Por Bernardo Gontijo, fundador de NeftPublicado el Actualizado el 10 min de lectura

Resumen

Para probar una IA de atención, evalúe dos cosas por separado: si resolvió la solicitud y si siguió el proceso obligatorio, como informar el número de seguimiento, pedir confirmación antes de modificar datos y transferir a una persona cuando sea necesario. En el benchmark CXBench, publicado en octubre de 2026, el 80% de las ejecuciones en las que los agentes de IA acertaron el resultado incumplió alguna regla del proceso. Antes de habilitar la IA, cree casos de prueba con respuestas conocidas y verificación automática.

¿Por qué acertar la respuesta no basta en la atención con IA?

Porque, en la atención regulada, el cliente puede recibir la solución correcta por un camino incorrecto: sin el aviso obligatorio, sin confirmación antes de modificar un registro o con una promesa que la empresa no puede cumplir. Una evaluación que solo comprueba el resultado final aprueba estas atenciones como si fueran correctas.

Este riesgo fue medido por CXBench, un benchmark publicado en arXiv el 19 de octubre de 2026 por investigadores liderados por Boxi Yu. El estudio puso a siete modelos de lenguaje a atender a clientes simulados en 120 tareas de seis sectores regulados: banca, telecomunicaciones, seguros, salud, servicios públicos (como agua y energía) y prestaciones gubernamentales.

Medida en CXBenchResultado
Ejecuciones evaluadas840
Acertaron el resultado de la solicitud69,3%
Acertaron el resultado y siguieron el proceso13,8%
Resultados correctos con alguna infracción del proceso80,1%
Fuente: Yu et al., CXBench, arXiv 2610.25954, versión 1 (octubre de 2026). Clientes simulados por IA, no atenciones reales.

La diferencia apareció en todos los modelos probados y varió por sector. En banca, el 94,3% de las ejecuciones acertó el resultado, pero solo el 5,7% acertó resultado y proceso. En prestaciones gubernamentales, fueron el 84,3% frente al 4,3%.

¿Qué es un falso acierto en la atención con IA?

Un falso acierto (false-pass, en el estudio) es una atención que entrega el resultado de negocio correcto, pero incumple un requisito del proceso. Se impugnó la factura, se emitió el duplicado o se actualizó el registro, pero faltó un paso exigido por la norma o la política de la empresa. Ejemplos habituales:

  • Número de seguimiento no informado: la solicitud se resolvió, pero el cliente se quedó sin el número para hacerle seguimiento.
  • Confirmación fuera de orden: la IA modificó un dato antes de que el cliente confirmara qué se iba a modificar.
  • Aviso obligatorio ausente: no se informó un plazo, un derecho o una condición que la regla exige para ese tipo de solicitud.
  • Promesa indebida: la IA garantizó un plazo, descuento o resultado que la empresa no puede asegurar.
  • Transferencia sin contexto: el cliente pidió una persona y tuvo que repetir todo al agente.

Los autores destacan que un falso acierto en el benchmark indica el incumplimiento de una regla codificada en la prueba, no una decisión jurídica de irregularidad. Para quienes operan la atención, el valor está en el método: dar al resultado y al proceso dos puntuaciones distintas.

¿Qué reglas de proceso exige la ley brasileña a la atención?

El Decreto brasileño n.º 13.135/2026 sustituyó al Decreto n.º 11.034/2022. Consulte los proveedores incluidos en el art. 1 y la regulación sectorial aplicable. Entre los requisitos que pueden convertirse en casos de prueba:

  • Número de seguimiento: permita seguir la solicitud mediante registro numérico o procedimiento electrónico que genere un número de seguimiento (art. 18).
  • Continuidad: no pida al cliente que repita o reinicie la solicitud; la excepción a la repetición exige una razón técnica fundamentada (arts. 6–7).
  • Opción humana: pruebe el acceso a una persona en las condiciones y horarios de la norma, incluidos canales electrónicos y telefónicos (arts. 3, 12 y 14).
  • Conservación: el historial tiene un mínimo de seis meses tras la resolución; las grabaciones telefónicas y mensajes de voz o texto, un mínimo de 90 días tras la atención (arts. 18–19). Valide también las reglas sectoriales.

Cada regla se convierte en un elemento verificable de la prueba de IA. ¿Aparece el número de seguimiento en el registro? ¿La transferencia llevó el resumen al agente sin pedir al cliente que repitiera la solicitud? ¿Se ofreció la opción de hablar con una persona?

La responsabilidad por lo que dice la IA sigue siendo de la empresa. En febrero de 2024, en el caso Moffatt v. Air Canada, el Tribunal de Resolución Civil de Columbia Británica, Canadá, ordenó a la aerolínea indemnizar a un pasajero que siguió información errónea del chatbot sobre tarifas por duelo y rechazó el argumento de que el chatbot respondía por sí mismo. En Brasil, el Código de Defensa del Consumidor establece que la información suficientemente precisa proporcionada al consumidor obliga al proveedor (art. 30).

¿Cómo crear pruebas cuando no existe un benchmark para su atención?

Empiece por la respuesta y genere la pregunta después. Esta es la técnica que Nathanael Weill, ingeniero de IA de Air Canada, presentó en octubre de 2026 en la conferencia AI Engineer: cuando se conoce la respuesta esperada, un programa comprueba el resultado sin depender de la opinión de expertos en cada ronda.

Video: How to Test AI Agents When No Benchmark Exists (AI Engineer, YouTube, ). Charla en inglés, de unos 20 minutos.

Según Weill, su equipo evaluaba cada versión de un agente en una reunión semanal con expertos que no siempre coincidían. Con pruebas generadas a partir de respuestas conocidas, pasó de una evaluación semanal a decenas al día. En un proyecto sobre contratos de proveedores, las reglas conocidas produjeron 275 pruebas con respuesta definida.

“Si no puede evaluar al agente, no puede mejorarlo.”

Nathanael Weill, Air Canada, en How to Test AI Agents When No Benchmark Exists (AI Engineer, octubre de 2026, en 7:26). Traducción libre.

Adaptado a la atención al cliente, el método se convierte en cinco tipos de casos de prueba:

  1. Respuesta conocida: elija un fragmento de la base de conocimientos, escriba la pregunta que responde y compruebe que la IA llega a la misma información.
  2. Regla plantada: para cada regla obligatoria, como informar el número de seguimiento o pedir confirmación antes de modificar datos, cree conversaciones que la requieran y verifique en el registro si se cumplió.
  3. Fuera de alcance: las solicitudes sobre temas prohibidos o que la IA no puede resolver deben terminar en una negativa clara o en la transferencia a una persona.
  4. Invariancia: cambie el nombre, la dirección o el barrio del cliente sin modificar la solicitud. La respuesta y el trato no deben cambiar.
  5. Transferencia: el cliente pide una persona durante la conversación. La prueba se aprueba si el agente recibe el resumen y el cliente no necesita repetir la solicitud.

Weill también advierte que añadir complejidad al agente suele romper lo que ya funcionaba. Por eso, el conjunto completo de pruebas debe ejecutarse con cada cambio de instrucciones, base de conocimientos o modelo, no solo en los casos que motivaron el cambio.

¿Qué criterios evaluar en cada atención de prueba?

Asigne a cada atención una puntuación de resultado y otra de proceso, y priorice las verificaciones automáticas siempre que el registro lo permita. La tabla siguiente es un punto de partida para sectores regulados:

CriterioTipoCómo verificar
Resolvió la solicitudResultadoEstado final en el sistema, como duplicado de factura emitido o ticket abierto
Informó el número de seguimientoProcesoNúmero presente en la transcripción y en el registro
Pidió confirmación antes de modificar datosProcesoOrden de los eventos en el registro
Se mantuvo dentro de los temas permitidosProcesoComparación con la lista de temas de la configuración
No prometió lo que la empresa no garantizaProcesoRevisión humana de una muestra
Ofreció una persona cuando se solicitó o al salir del alcanceProcesoEvento de transferencia en el registro
No pidió al cliente que repitiera la solicitudProcesoTranscripción posterior a la transferencia
Criterios de ejemplo. Los requisitos reales proceden de la normativa del sector, el contrato y la política de la empresa.

¿Qué cambia la investigación en la práctica de la atención?

Qué muestra la fuenteQué cambia en la atenciónLimitación
CXBench: el 80,1% de los resultados correctos incumplió reglas del procesoEvaluar la IA con dos puntuaciones: resultado y procesoClientes simulados por IA y reglas de otros países
Air Canada: las pruebas con respuestas conocidas aceleran la evaluaciónGenerar casos a partir de la base de conocimientos y las reglas obligatoriasRelato de un proyecto, sin medición publicada del beneficio
Decreto brasileño n.º 13.135/2026: número de seguimiento, continuidad y opción humanaCada regla se convierte en un caso de prueba verificableAlcance definido en el art. 1; comprobar la regulación sectorial

¿Puedo usar IA para evaluar las atenciones de la IA?

Sí, pero solo para lo que un programa no puede comprobar y siempre calibrada con una muestra revisada por personas. El orden de los eventos, la presencia del número de seguimiento y la transferencia son comprobaciones objetivas; el tono, la claridad y las promesas indebidas requieren juicio.

En CXBench, la evaluación combinó reglas en código y un modelo de lenguaje como juez. De los 466 falsos aciertos, 329 fueron detectados solo por el juez de IA, 38 solo por las reglas y 99 por ambos. Aun así, cuando el juez de IA aprobó el proceso, la aprobación coincidió con la de un experto en el 69,7% de los casos.

Weill relató el mismo problema en Air Canada: el ruido del evaluador de IA era comparable al del propio agente en desarrollo. La regla práctica es comprobar primero con código y utilizar el juez de IA solo donde sea indispensable.

¿Cómo poner en marcha la IA de atención de forma segura?

Habilítela de forma gradual y mantenga a una persona en el circuito mientras las cifras no demuestren la calidad. Un enfoque habitual:

  1. Alcance limitado: un tipo de solicitud de alto volumen o el horario en que el equipo no está disponible.
  2. Acciones con control: empiece con acciones simuladas o aprobación humana y habilite la ejecución automática solo después de superar las pruebas.
  3. Versiones: cada cambio de instrucciones genera una versión nueva, probada antes de publicarse y con retorno rápido a la anterior.
  4. Salida hacia una persona: cuando el cliente lo pide o el caso sale del alcance, la atención pasa al equipo con el mismo número de seguimiento y el resumen de la conversación.
  5. Muestra semanal: revise atenciones reales con los mismos criterios de resultado y proceso, y convierta cada fallo encontrado en un caso de prueba nuevo.

Así está diseñada la atención con IA de Neft. La empresa define los temas permitidos y prohibidos; cada acción puede estar desactivada, simulada, con aprobación humana o automática; y la configuración tiene borrador, versiones y publicación, con retorno a la versión anterior. Cuando el caso sale del alcance, el cliente pasa al equipo con el mismo número de seguimiento y el resumen de la conversación, y la grabación, transcripción e informes permanecen en el mismo registro.

Preguntas frecuentes

¿Cuál es la diferencia entre evaluar el resultado y el proceso de una atención con IA?
El resultado indica si se resolvió la solicitud del cliente. El proceso indica si la IA siguió los pasos obligatorios, como informar el número de seguimiento, pedir confirmación y ofrecer una persona. Una atención solo es correcta cuando supera ambos.
¿Cuántos casos de prueba se necesitan antes de lanzar una IA de atención?
No existe un número universal. Cubra, para cada tipo de solicitud, todas las reglas obligatorias, los temas prohibidos y la transferencia a una persona; después añada un caso por cada fallo real encontrado. En la charla de Air Canada, las reglas conocidas de un proyecto produjeron 275 pruebas.
¿La empresa responde por lo que el chatbot o la IA dice al cliente?
En la práctica, sí. En Moffatt v. Air Canada (2024), un tribunal canadiense rechazó el argumento de que el chatbot respondía por sí mismo. En Brasil, el art. 30 del Código de Defensa del Consumidor establece que la información suficientemente precisa proporcionada al consumidor obliga al proveedor. Confirme la aplicación a su caso con el equipo jurídico.
¿Puedo usar IA para evaluar las atenciones realizadas por IA?
Sí, para criterios que requieren juicio, como el tono y las promesas indebidas, siempre que esté calibrada con una muestra revisada por personas. El orden de los eventos, el número de seguimiento y la transferencia deben comprobarse con código.
¿Puede la IA atender sola en sectores regulados?
La automatización puede operar dentro de un alcance probado, preservando la opción humana. Para los proveedores incluidos en el Decreto brasileño n.º 13.135/2026, los arts. 12 y 14 prevén atención humana de 8:00 a 20:00, siete días por semana, con condiciones específicas y regulación sectorial. No use la regla derogada de ocho horas diarias como criterio actual.

Fuentes

Videos, estudios y documentos utilizados en este artículo. Las prepublicaciones son versiones publicadas por sus autores antes de la revisión por pares. Este artículo se investigó y redactó con apoyo de IA; investigación y citas verificadas el 26 de octubre de 2026. Referencias a la regulación de atención actualizadas el 16 de noviembre de 2026 según el Decreto n.º 13.135/2026 en el sitio oficial del Planalto.

  1. Video

    How to Test AI Agents When No Benchmark Exists (se abre en una pestaña nueva)

    Nathanael Weill (Air Canada), canal AI Engineer · publicado el

    Método de prueba de agentes a partir de respuestas conocidas, pruebas de invariancia y cautela con la IA como juez.

  2. Artículo científico (prepublicación)

    CXBench: A Benchmark for Process-Compliant LLM Agents in Regulated Customer-Experience Workflows (se abre en una pestaña nueva)

    Boxi Yu, Lionel Briand, Emir Muñoz y otros (arXiv 2610.25954, versión 1) · publicado el

    Cifras de falsos aciertos: el 80,1% de los resultados correctos incumplió reglas del proceso, con clientes simulados por IA en seis sectores regulados.

  3. Legislación

    Decreto brasileño n.º 13.135, del 9 de octubre de 2026 (regula la atención al cliente) (se abre en una pestaña nueva)

    Presidencia de la República de Brasil · publicado el

    Número de seguimiento, continuidad, opción humana y conservación; sustituye al Decreto n.º 11.034/2022.

  4. Resolución judicial

    Moffatt v. Air Canada, 2024 BCCRT 149 (se abre en una pestaña nueva)

    Tribunal de Resolución Civil de Columbia Británica (Canadá) · publicado el

    La aerolínea respondió por la información errónea proporcionada por el chatbot de su propio sitio web.

  5. Legislación

    Código de Defensa del Consumidor de Brasil (Ley n.º 8.078/1990) (se abre en una pestaña nueva)

    Presidencia de la República de Brasil · publicado el

    Art. 30: la información suficientemente precisa proporcionada al consumidor obliga al proveedor.

¿Quiere atender a sus clientes por video?

Realice la evaluación gratuita o pruebe Neft durante 15 días, sin tarjeta de crédito.