Por qué un 80% de fiabilidad no basta para la IA en atención al cliente
Por Bernardo Gontijo, fundador de NeftPublicado el Actualizado el 9 min de lectura
Resumen
Un 80% de éxito deja sin éxito al 20% de los casos evaluados, pero no indica qué fallos llegan al cliente ni cuánto cuesta corregirlos. Para contratar IA de atención, exija evidencias del resultado, repetición de pruebas y una salida hacia el equipo humano. Un preprint encontró que solo el 22,6% de los aprobados superó cuatro verificaciones de confianza en un benchmark académico; ese porcentaje no mide atenciones reales.
Qué significa un 80% de fiabilidad para el cliente
Una tasa de éxito del 80% significa un fallo cada cinco intentos, de media, dentro de la muestra y la definición de éxito utilizadas. No significa que cada quinta conversación vaya a fallar ni que el mismo resultado se repita en su operación. Antes de aceptar la cifra, pregunte: ¿éxito al responder, ejecutar una acción o resolver toda la solicitud?
Imagine un duplicado de factura: la respuesta puede estar bien redactada, pero incluir la factura equivocada. O el documento correcto puede no llegar nunca al cliente. Si alguien debe revisar cada entrega, el beneficio de la automatización debe calcularse descontando ese trabajo. Un fallo detectado y transferido al equipo también tiene un impacto distinto al de una finalización falsa que pasa inadvertida.
Felipe Blanes, de Amazon AGI Lab, analiza esta pérdida de confianza en el capítulo “trust cliff”, en 9:35. La descripción publicada por el canal resume la idea así:
“Un 80% de fiabilidad parece más trabajo.”
Blanes trabaja en el laboratorio de Amazon que desarrolla herramientas de IA, incluido Nova Act. Su charla aporta experiencia con clientes de agentes de navegador, no un estudio controlado de atención al cliente. Es de octubre; la investigación siguiente recibió una versión ampliada en noviembre. Ninguna establece una tasa universal que haga segura cualquier atención.
Por qué una buena puntuación en un benchmark puede engañar
En el capítulo “benchmark illusion”, en 2:22, la charla contrapone evaluaciones estáticas al comportamiento inesperado de los clientes. Para el comprador, la consecuencia es práctica: una demostración con preguntas elegidas por el proveedor no sustituye las pruebas con las demandas de su operación.
Pida casos con información incompleta, cambios de intención e indisponibilidad del sistema consultado. Compruebe que el conjunto incluya reclamaciones y solicitudes fuera de alcance, además de preguntas frecuentes. Una media puede ocultar que la IA funciona bien en consultas sencillas y falla justo donde las consecuencias son mayores.
El preprint A Trust Layer for Agent Evaluation, de Sediqin, Dalmia, Kovvuri y Mukherji, evaluó cinco configuraciones de agentes en 108 tareas de Agents’ Last Exam. En el subconjunto de 50 tareas repetidas cinco veces por configuración, entre el 18% y el 46% no mantuvo el mismo intervalo de puntuación. Esto mide inestabilidad de puntuación, no una tasa de errores en atención.
Al contratar, pida la distribución de resultados por tipo de solicitud, no solo la mejor ronda. Registre qué versión del modelo, las instrucciones y las integraciones se probó. Si la configuración ofrecida cambió, hay que reevaluar la evidencia anterior. Un informe sin esa identificación resulta difícil de reproducir y comparar.
Los cuatro criterios de un resultado verificable
El Trust Layer verifica cuatro dimensiones: respaldo de la lógica de corrección del benchmark, cálculo trazable, correspondencia entre la finalización declarada y lo ocurrido, y estabilidad en repeticiones. En ese subconjunto, solo 19 de los 84 aprobados registrados superaron las cuatro: un 22,6%, con un intervalo de confianza del 95% entre el 15,0% y el 32,6%.
El trabajo es un preprint, sin revisión por pares confirmada, de autores afiliados a Centific Research. La muestra citada es académica, no de atención al cliente. La aplicación siguiente es una propuesta de evaluación para compradores, no una validación experimental de Neft:
- Regla verificable: defina antes de la prueba qué cuenta como resolución. En un duplicado de factura, puede ser el documento del período solicitado, puesto a disposición del cliente correcto. Una respuesta amable no sustituye ese criterio.
- Ruta trazable: pida evidencias de la consulta y la acción que produjeron el resultado. El registro debe permitir distinguir información obtenida del sistema de una respuesta generada sin confirmación.
- Finalización verdadera: contraste el “completado” de la conversación con el estado del sistema. Si no se creó el ticket, el mensaje debe reconocer el fallo e indicar cómo continuar.
- Repetición: ejecute de nuevo los mismos escenarios y variaciones relevantes. Separe los fallos persistentes de los resultados inestables; ambos deben tratarse antes de ampliar el alcance.
Estas preguntas hacen auditable la demostración. El proveedor puede presentar ejemplos sin exponer datos personales: identificadores ficticios, entorno de prueba y registros con acceso restringido. Lo importante es conectar solicitud, ejecución y resultado, preservando la privacidad.
Qué exige la regulación brasileña a la atención al cliente
El Decreto brasileño n.º 13.135/2026, publicado el 13 de octubre, derogó el Decreto n.º 11.034/2022 y entró en vigor veinte días después de su publicación (arts. 24–25). Su art. 1 delimita los proveedores incluidos, entre ellos productos y servicios regulados a nivel federal y servicios financieros digitales bajo regulación o supervisión del Banco Central de Brasil. No se aplica automáticamente a toda empresa.
El art. 3, § 3, permite la automatización, incluida la IA, siempre que se garantice la opción de atención humana en tiempo real en los períodos y condiciones de la norma. El art. 4 exige, entre otros puntos, seguridad, privacidad y capacidad resolutiva; el art. 7 determina la continuidad hasta la finalización efectiva. Consulte también la regulación sectorial aplicable.
El decreto no fija un porcentaje mínimo de acierto de la IA. El 80% mencionado en el art. 15 se refiere a la proporción de demandas telefónicas sujeta a un determinado límite de espera, no a la calidad de las respuestas automatizadas. Al contratar, pruebe la opción humana y la continuidad de la solicitud. Una puntuación de benchmark no demuestra cumplimiento normativo.
Qué permiten concluir las fuentes
| Qué muestra la fuente | Qué cambia en la atención | Limitación |
|---|---|---|
| Trust Layer: el 22,6% de 84 aprobados superó las cuatro verificaciones | Pedir evidencias más allá de la puntuación agregada | Muestra académica ALE; preprint, no estimación de calidad de atención al cliente |
| Charla: la necesidad de supervisión puede destruir la confianza | Incluir revisión y corrección al evaluar el beneficio | Experiencia relatada por un profesional de Amazon, no un estudio controlado |
Cómo evaluar la fiabilidad antes de contratar
Defina la aceptación por servicio y gravedad del fallo, con participación de quienes atienden y quienes responden por la operación. Una consulta informativa puede admitir revisión; una acción que modifica derechos o importes exige controles más fuertes. No acepte una tasa única que oculte esas diferencias.
- ¿Cuál es el denominador? Solicite el número de casos, el origen de la muestra y los criterios de exclusión. Los abandonos y las transferencias deben aparecer separados de las resoluciones autónomas.
- ¿Qué ocurre cuando falla? Observe el recorrido hasta el equipo humano, el contexto entregado y la respuesta al cliente cuando no hay nadie disponible. Pruébelo en la demostración.
- ¿Cuál es el costo de la supervisión? Mida el tiempo dedicado a revisar y corregir, además del tiempo ahorrado. Incluya el retrabajo generado por finalizaciones incorrectas.
- ¿Quién controla los cambios? Acuerde responsables de aprobación, historial de versiones y retorno a la configuración anterior. Cambiar las instrucciones puede alterar los resultados incluso sin cambiar el modelo.
- ¿Cómo continuarán las pruebas? Defina la muestra revisada después del lanzamiento, los indicadores supervisados y los eventos que interrumpen o restringen la automatización.
La charla organiza el aprendizaje en un ciclo de evaluación, en 4:41, empezando por definir el éxito del cliente, en 4:56. En su operación, convierta los fallos encontrados en nuevos casos de prueba. La guía sobre cómo probar la IA antes de ponerla en marcha detalla esta preparación.
Fiabilidad en la práctica: qué ofrece Neft
El caso público de Corsan documenta la adopción de videoatención con Neft en 2022 y los resultados del primer año. Es experiencia de atención por video con personas; no prueba la fiabilidad de una IA autónoma. Esta distinción evita utilizar un caso real para respaldar una promesa distinta.
En la solución actual de IA, la página pública de Neft describe la definición de temas permitidos y prohibidos, acciones desactivadas, simuladas, con aprobación humana o automáticas dentro de la política, y publicación de configuraciones con historial. Cuando hace falta, el equipo asume la atención con el mismo número de seguimiento y el resumen de la conversación.
Estos controles ayudan a delimitar qué se automatizará y a mantener una salida para los casos que requieren personas. La página no presenta un porcentaje de acierto ni un SLA numérico de fiabilidad de la IA. Por eso, la contratación debe evaluar el servicio elegido y sus criterios de resolución, sin convertir funcionalidades en una garantía estadística.
Conozca la atención con IA de Neft y lleve a la conversación un flujo real, los errores que su operación no puede aceptar y los registros que necesita recibir. Ese material permite evaluar una propuesta concreta, con responsabilidades y límites claros, antes de ampliar la automatización.
Preguntas frecuentes
- ¿Un 80% de fiabilidad significa que uno de cada cinco clientes tendrá problemas?
- No necesariamente. Significa un 20% de fracaso en la muestra y la definición utilizada por la prueba. Para estimar el impacto sobre los clientes, hay que saber qué solicitudes se evaluaron, cómo se trataron los fallos y si la muestra representa la operación.
- ¿Qué porcentaje debo exigir a una IA de atención?
- No existe un porcentaje universal. Defina criterios por servicio, consecuencias del error y capacidad de recuperación. Separe resolución correcta, cumplimiento del proceso, transferencia y retrabajo. Una media alta no compensa fallos graves ocultos en un tipo de solicitud.
- ¿El 22,6% del estudio mide la calidad de los agentes de atención?
- No. La cifra es la proporción de aprobados de un benchmark académico que superó las cuatro verificaciones del Trust Layer. No es una tasa de resolución de atención al cliente ni una medición de ningún proveedor de atención.
- ¿Transferir a una persona es un fallo de la IA?
- Depende del objetivo. Si el caso está fuera de alcance, transferirlo con contexto puede ser la respuesta correcta. Registre la transferencia por separado de la resolución autónoma y evalúe si la persona pudo continuar la atención y completar la solicitud.
Fuentes
Videos, estudios y documentos utilizados en este artículo. Las prepublicaciones son versiones publicadas por sus autores antes de la revisión por pares. Artículo investigado y redactado con apoyo de IA. Las cifras y los límites del preprint, el texto del decreto, las páginas públicas de Neft y los metadatos, la descripción y los capítulos de YouTube se verificaron el 9 de noviembre de 2026. La transcripción secundaria del acervo sirvió para localizar el material; la cita publicada procede de la descripción del canal. Las recomendaciones de contratación son una aplicación editorial, no resultados medidos por las fuentes.
Video
Why 80% Reliability Isn't Good Enough (se abre en una pestaña nueva)Felipe Blanes (Amazon AGI Lab), canal AI Engineer (@aiDotEngineer) · publicado el
Fecha, descripción y capítulos verificados en YouTube: 2:22, 4:41, 4:56 y 9:35. La cita traduce la descripción editorial del canal; experiencia profesional, no estudio controlado.
Artículo científico (prepublicación)
A Trust Layer for Agent Evaluation (se abre en una pestaña nueva)Mohammadreza Sediqin, Shivali Dalmia, Srinivasa Karthikeya Reddy Kovvuri y Abhishek Mukherji (Centific Research) · publicado el
Versión 2, ampliada en noviembre; primera versión del 5 de octubre de 2026. Muestra ALE: 108 tareas en el estudio; repetición de 50 tareas por configuración y 84 aprobados en ese subconjunto. Resumen y secciones 4.5–4.6.
Legislación
Decreto brasileño n.º 13.135/2026 (se abre en una pestaña nueva)Presidencia de la República de Brasil · publicado el
Atención al cliente, IA y atención humana: arts. 1, 3, 4, 7 y 15. Derogación y vigencia: arts. 24–25; publicación en el Diario Oficial de Brasil el 13/10/2026.
Página consultada
Atención con IA de Neft (se abre en una pestaña nueva)Neft · consultado el
Alcance, autorización de acciones, versiones y transferencia al equipo; sin promesa de tasa de acierto.
Página consultada
Cómo Corsan empezó a atender a sus clientes por videollamada con Neft (se abre en una pestaña nueva)Neft · consultado el
Caso de videoatención humana; no se utiliza como evidencia de fiabilidad de la IA.
Lea también
¿Quiere atender a sus clientes por video?
Realice la evaluación gratuita o pruebe Neft durante 15 días, sin tarjeta de crédito.


