Por que 80% de confiabilidade não é suficiente para a IA no atendimento ao cliente

O que 80% de confiabilidade significa para o cliente

Uma taxa de sucesso de 80% significa uma falha em cada cinco tentativas, em média, dentro da amostra e da definição de sucesso usadas. Não significa que toda quinta conversa falhará, nem que o mesmo resultado aparecerá na sua operação. Antes de aceitar o número, pergunte: sucesso em responder, executar uma ação ou resolver o pedido inteiro?

Imagine uma segunda via: a resposta pode estar bem escrita, mas trazer a conta errada. Ou o documento correto pode nunca chegar ao cliente. Se alguém precisa conferir toda entrega, o ganho da automação deve ser calculado depois desse trabalho. Uma falha percebida e transferida à equipe também tem impacto diferente de uma conclusão falsa que passa despercebida.

Felipe Blanes, do Amazon AGI Lab, discute essa perda de confiança no capítulo “trust cliff”, aos 9min35s. A descrição publicada pelo canal resume a ideia assim:

Blanes trabalha no laboratório da Amazon que constrói ferramentas de IA, incluindo o Nova Act. Sua palestra traz experiência com clientes de agentes de navegador, não um estudo controlado de SAC. Ela é de outubro; a pesquisa a seguir ganhou uma versão ampliada em novembro. Nenhuma das duas estabelece uma taxa universal que torne qualquer atendimento seguro.

Por que uma boa nota no benchmark pode enganar

No capítulo “benchmark illusion”, aos 2min22s, a palestra contrapõe avaliações estáticas ao comportamento inesperado dos clientes. Para o comprador, a consequência é prática: uma demonstração com perguntas escolhidas pelo fornecedor não substitui testes com as demandas da sua operação.

Peça casos com informação incompleta, mudança de intenção e indisponibilidade do sistema consultado. Confira se o conjunto inclui reclamações e pedidos fora do escopo, além de dúvidas frequentes. Uma média pode esconder que a IA vai bem em consultas simples e falha justamente onde a consequência é maior.

O preprint A Trust Layer for Agent Evaluation, de Sediqin, Dalmia, Kovvuri e Mukherji, avaliou cinco configurações de agentes em 108 tarefas do Agents’ Last Exam. No subconjunto de 50 tarefas repetidas cinco vezes por configuração, entre 18% e 46% não mantiveram a mesma faixa de pontuação. Isso mede instabilidade de pontuação, não uma taxa de erros no atendimento.

Na contratação, peça a distribuição dos resultados por tipo de pedido, e não apenas a melhor rodada. Registre qual versão do modelo, das instruções e das integrações foi testada. Se a configuração oferecida mudou, a evidência anterior precisa ser reavaliada. Um relatório sem essa identificação é difícil de reproduzir e comparar.

Os quatro critérios de um resultado verificável

O Trust Layer verifica quatro dimensões: sustentação pela lógica de correção do benchmark, computação rastreável, correspondência entre a conclusão declarada e o ocorrido, e estabilidade em repetições. Nesse subconjunto, só 19 das 84 aprovações registradas passaram nas quatro: 22,6%, com intervalo de confiança de 95% de 15,0% a 32,6%.

O trabalho é um preprint, sem revisão por pares confirmada, de autores afiliados à Centific Research. O recorte citado é acadêmico, não de atendimento ao cliente. A aplicação abaixo é uma proposta de avaliação para compradores, não uma validação experimental da Neft:

1. Regra verificável: defina antes do teste o que conta como resolução. Em uma segunda via, pode ser o documento da competência solicitada, disponibilizado ao cliente correto. Uma resposta simpática não substitui esse critério.
2. Caminho rastreável: peça evidência da consulta e da ação que produziram o resultado. O registro deve permitir distinguir uma informação obtida do sistema de uma resposta gerada sem confirmação.
3. Conclusão verdadeira: confronte o “concluído” da conversa com o estado no sistema. Se o chamado não foi criado, a mensagem precisa reconhecer a falha e indicar como continuar.
4. Repetição: rode novamente os mesmos cenários e variações relevantes. Separe falhas persistentes de resultados instáveis; ambos precisam de tratamento antes de ampliar o escopo.

Essas perguntas tornam a demonstração auditável. O fornecedor pode apresentar exemplos sem expor dados pessoais: identificadores fictícios, ambiente de teste e registros com acesso restrito. O importante é ligar pedido, execução e resultado, preservando a privacidade.

O que a regulação brasileira exige do atendimento

O Decreto nº 13.135/2026, publicado em 13 de outubro, revogou o Decreto nº 11.034/2022 e entrou em vigor vinte dias após a publicação (arts. 24–25). Seu art. 1º delimita os fornecedores abrangidos, incluindo produtos e serviços regulados federalmente e serviços financeiros digitais sob regulação ou supervisão do Banco Central. Não se aplica automaticamente a toda empresa.

O art. 3º, § 3º, permite automação, inclusive IA, desde que assegurada a opção de atendimento humano em tempo real nos períodos e condições da norma. O art. 4º exige, entre outros pontos, segurança, privacidade e resolutividade; o art. 7º determina continuidade até a conclusão efetiva. Confira também a regulação setorial aplicável.

O decreto não fixa percentual mínimo de acerto de IA. Os 80% mencionados no art. 15 referem-se à parcela de demandas telefônicas sujeita a determinado limite de espera, não à qualidade de respostas automatizadas. Na contratação, teste a opção humana e a continuidade do pedido. Uma nota de benchmark não comprova conformidade regulatória.

O que as fontes permitem concluir

Como avaliar a confiabilidade antes de contratar

Defina o aceite por serviço e gravidade da falha, com participação de quem atende e de quem responde pela operação. Uma consulta informativa pode admitir revisão; uma ação que altera direitos ou valores exige controles mais fortes. Não aceite uma taxa única para esconder essas diferenças.

• Qual é o denominador? Solicite quantidade de casos, origem da amostra e critérios de exclusão. Abandonos e transferências devem aparecer separados das resoluções autônomas.
• O que acontece quando falha? Observe o caminho até a equipe humana, o contexto entregue e a resposta ao cliente quando ninguém está disponível. Teste isso na demonstração.
• Qual é o custo da supervisão? Meça o tempo gasto para revisar e corrigir, além do tempo economizado. Inclua o retrabalho gerado por conclusões incorretas.
• Quem controla mudanças? Combine responsáveis por aprovação, histórico de versões e retorno à configuração anterior. Trocar instruções pode alterar resultados mesmo sem trocar o modelo.
• Como o teste continuará? Defina a amostra revisada após o lançamento, os indicadores acompanhados e os eventos que interrompem ou restringem a automação.

A palestra organiza o aprendizado em um ciclo de avaliação, aos 4min41s, começando por definir sucesso para o cliente, aos 4min56s. Na sua operação, transforme falhas encontradas em novos casos de teste. O roteiro de como testar IA antes de colocá-la no ar detalha essa preparação.

Confiabilidade na prática: o que a Neft oferece

O caso público da Corsan documenta a adoção de videoatendimento com a Neft em 2022 e resultados do primeiro ano. É experiência de atendimento por vídeo com pessoas; não é prova de confiabilidade de uma IA autônoma. Essa distinção evita usar um caso real para sustentar uma promessa diferente.

Na solução atual de IA, a página pública da Neft descreve definição de assuntos permitidos e proibidos, ações desligadas, simuladas, com aprovação humana ou automáticas dentro da política, e publicação de configurações com histórico. Quando necessário, a equipe assume com o mesmo protocolo e o resumo da conversa.

Esses controles ajudam a delimitar o que será automatizado e a manter uma saída para os casos que exigem pessoas. A página não apresenta um percentual de acerto ou SLA numérico de confiabilidade da IA. Por isso, a contratação deve avaliar o serviço escolhido e seus critérios de resolução, sem transformar funcionalidades em garantia estatística.

Conheça o atendimento com IA da Neft e leve à conversa um fluxo real, os erros que sua operação não pode aceitar e os registros que precisa receber. Esse material permite avaliar uma proposta concreta, com responsabilidades e limites claros, antes de ampliar a automação.