Como testar a IA de atendimento ao cliente antes de colocá-la no ar

Por que acertar a resposta não basta no atendimento com IA?

Porque, em atendimento regulado, o cliente pode receber a solução certa por um caminho errado: sem o aviso obrigatório, sem a confirmação antes de alterar um cadastro ou com uma promessa que a empresa não pode cumprir. Uma avaliação que só confere o resultado final aprova esses atendimentos como se estivessem corretos.

Esse risco foi medido pelo CXBench, um benchmark publicado no arXiv em 19 de outubro de 2026 por pesquisadores liderados por Boxi Yu. O estudo colocou sete modelos de linguagem para atender clientes simulados em 120 tarefas de seis setores regulados: bancos, telecomunicações, seguros, saúde, serviços de utilidade pública (como água e energia) e benefícios do governo.

A diferença apareceu em todos os modelos testados e variou por setor. Em bancos, 94,3% das execuções acertaram o resultado, mas só 5,7% acertaram resultado e processo. Em benefícios do governo, foram 84,3% contra 4,3%.

O que é um falso acerto no atendimento com IA?

Falso acerto (false-pass, no estudo) é o atendimento que entrega o resultado de negócio correto, mas descumpre um requisito de processo. A conta foi contestada, a segunda via foi emitida ou o cadastro foi atualizado, porém faltou uma etapa que a norma ou a política da empresa exige. Exemplos comuns:

• Protocolo não informado: o pedido foi resolvido, mas o cliente saiu sem o número para acompanhar a demanda.
• Confirmação fora de ordem: a IA alterou um dado antes de o cliente confirmar o que seria alterado.
• Aviso obrigatório ausente: faltou informar um prazo, um direito ou uma condição que a regra exige naquele tipo de pedido.
• Promessa indevida: a IA garantiu prazo, desconto ou resultado que a empresa não pode assegurar.
• Transferência sem contexto: o cliente pediu uma pessoa e precisou repetir tudo ao atendente.

Os autores ressaltam que um falso acerto no benchmark indica o descumprimento de uma regra codificada no teste, não uma decisão jurídica de irregularidade. Para quem opera atendimento, o valor está no método: dar ao resultado e ao processo duas notas diferentes.

Que regras de processo a lei brasileira exige do atendimento?

Para serviços regulados pelo governo federal, como telefonia, energia elétrica, planos de saúde, aviação e bancos, o Decreto nº 11.034/2022 define as regras do SAC prestado pelos diversos canais integrados da empresa. Concessionárias de saneamento e órgãos públicos seguem também as normas da sua agência reguladora e do seu contrato. Entre as regras do decreto:

• Registro numérico: o consumidor tem direito de acompanhar todas as suas demandas por protocolo ou outro registro eletrônico (art. 12).
• Sem repetição: é vedado pedir que o consumidor repita a demanda depois de registrada no primeiro atendimento (art. 10).
• Pessoa disponível no telefone: o atendimento telefônico deve oferecer atendimento por humano por pelo menos oito horas diárias, com opções de reclamação e de cancelamento (art. 5º).
• Guarda do registro: o registro do atendimento fica disponível por no mínimo dois anos após a resolução da demanda, e a gravação da chamada telefônica, por no mínimo 90 dias (art. 12, §§ 3º e 5º).

Cada uma dessas regras vira um item verificável no teste da IA. O protocolo aparece no registro? A transferência levou o resumo ao atendente, sem pedir que o cliente repita a demanda? A opção de falar com uma pessoa foi oferecida?

A responsabilidade pelo que a IA diz continua sendo da empresa. Em fevereiro de 2024, no caso Moffatt v. Air Canada, o tribunal de resolução civil da Colúmbia Britânica, no Canadá, mandou a companhia aérea indenizar um passageiro que seguiu uma informação errada do chatbot sobre tarifa de luto, e rejeitou o argumento de que o chatbot responderia por si. No Brasil, o Código de Defesa do Consumidor diz que a informação suficientemente precisa prestada ao consumidor obriga o fornecedor (art. 30).

Como montar testes quando não existe benchmark para o seu atendimento?

Comece pela resposta e só depois gere a pergunta. Essa é a técnica que Nathanael Weill, engenheiro de IA da Air Canada, apresentou em outubro de 2026 na conferência AI Engineer: quando se sabe qual deve ser a resposta, um programa confere o resultado sem depender da opinião de especialistas a cada rodada.

Segundo Weill, a equipe dele avaliava cada versão de um agente em uma reunião semanal com especialistas, que nem sempre concordavam entre si. Com testes gerados a partir de respostas conhecidas, o time passou de uma avaliação por semana para dezenas por dia. Em um projeto sobre contratos de fornecedores, as regras conhecidas renderam 275 testes com resposta definida.

Adaptado ao atendimento ao cliente, o método vira cinco tipos de caso de teste:

1. Resposta conhecida: escolha um trecho da base de conhecimento, escreva a pergunta que ele responde e confira se a IA chega à mesma informação.
2. Regra plantada: para cada regra obrigatória, como informar o protocolo ou pedir confirmação antes de alterar dados, crie conversas que exigem a regra e verifique no registro se ela aconteceu.
3. Fora do escopo: pedidos sobre assuntos proibidos ou que a IA não pode resolver precisam terminar em recusa clara ou transferência para uma pessoa.
4. Invariância: troque nome, endereço ou bairro do cliente sem mudar o pedido. A resposta e o tratamento não podem mudar.
5. Transferência: o cliente pede uma pessoa no meio da conversa. O teste passa se o atendente recebe o resumo e o cliente não precisa repetir a demanda.

Weill também alerta que adicionar complexidade ao agente costuma quebrar o que já funcionava. Por isso, o conjunto completo de testes deve rodar a cada mudança de instrução, de base de conhecimento ou de modelo, e não só nos casos que motivaram a mudança.

Quais critérios avaliar em cada atendimento de teste?

Dê a cada atendimento uma nota de resultado e uma nota de processo, e prefira verificações automáticas sempre que o registro permitir. A tabela abaixo é um ponto de partida para setores regulados:

O que a pesquisa muda na prática do atendimento?

Posso usar IA para avaliar os atendimentos da IA?

Pode, mas só para o que um programa não consegue conferir, e sempre calibrada contra uma amostra revisada por pessoas. Ordem de eventos, presença do protocolo e transferência são checagens objetivas; tom, clareza e promessas indevidas pedem julgamento.

No CXBench, a avaliação combinou regras em código e um modelo de linguagem como juiz. Dos 466 falsos acertos, 329 foram detectados só pelo juiz de IA, 38 só pelas regras e 99 pelos dois. Ainda assim, quando o juiz de IA aprovou o processo, a aprovação coincidiu com a de um especialista em 69,7% dos casos.

Weill relatou o mesmo problema na Air Canada: o ruído do avaliador de IA era comparável ao do próprio agente em desenvolvimento. A regra prática é conferir por código primeiro e usar o juiz de IA apenas onde ele for indispensável.

Como colocar a IA de atendimento no ar com segurança?

Libere aos poucos e mantenha uma pessoa no circuito enquanto os números não comprovam a qualidade. Um roteiro comum:

1. Escopo estreito: um tipo de pedido de alto volume, ou o horário em que a equipe não está disponível.
2. Ações com trava: comece com ações simuladas ou com aprovação humana e libere a execução automática só depois que os testes passarem.
3. Versões: cada mudança de instrução gera uma versão nova, testada antes da publicação e com volta rápida à anterior.
4. Saída para uma pessoa: quando o cliente pede ou o caso sai do escopo, o atendimento segue para a equipe com o mesmo protocolo e o resumo da conversa.
5. Amostra semanal: revise atendimentos reais com os mesmos critérios de resultado e processo, e transforme cada falha encontrada em um caso de teste novo.

Esse é o desenho do atendimento com IA da Neft. A empresa define os assuntos permitidos e proibidos; cada ação pode ficar desligada, simulada, com aprovação humana ou automática; e a configuração tem rascunho, versões e publicação, com volta à versão anterior. Quando o caso sai do escopo, o cliente segue para a equipe com o mesmo protocolo e o resumo da conversa, e gravação, transcrição e relatórios ficam no mesmo registro.