Segundo Ken Diamond (foto em destaque), CEO e cofundador da Escale, falta de segurança do setor em pontos como alucinação da IA, criam barreiras para utilização mais ampla

Segundo a pesquisa Rise of Agentic AI – How trust is the key to human-AI collaboration, realizada pela Capgemini, apenas 2% das empresas já implementaram agentes de IA em escala. Além disso, a confiança em sistemas totalmente autônomos caiu de 43% para 27% no último ano. A razão para esse recuo é clara: as maiores preocupações hoje são respostas equivocadas ou alucinações.

No setor bancário, uma resposta errada não representa apenas uma falha técnica, ela coloca em risco a reputação da marca e pode gerar perdas financeiras significativas. É esse temor que impede muitos líderes de avançarem na adoção de agentes mais autônomos.

Mesmo com investimentos crescentes, persiste uma barreira de confiança, especialmente quando se trata de aplicar IA em etapas críticas, que exigem precisão, rastreabilidade e controle rígido. Esse cuidado limita o uso da tecnologia em situações de mais complexidade, e reforça a necessidade de soluções que combinem inteligência artificial com governança robusta, curadoria humana contínua e processos padronizados, garantindo que cada tomada de decisão seja segura, transparente e auditável.

Para Ken Diamond, CEO e cofundador da Escale, AI Partner especializada em vendas digitais, esse contexto redefine o papel dos agentes inteligentes no setor financeiro. “A IA deixou de ser um experimento e se tornou um amortecedor de riscos. Ela padroniza decisões, identifica anomalias e garante consistência operacional mesmo em cenários complexos – mas isso só funciona quando você constrói múltiplas camadas de proteção que impedem a IA de alucinar e asseguram que cada saída seja confiável e segura”, afirma.

Como garantir confiança e mitigar riscos em escala

A construção da confiabilidade começa antes mesmo da IA entrar em operação. No caso da Escale, isso envolve uma arquitetura que combina preparação técnica rigorosa e mecanismos contínuos de prevenção. Na fase de pré-produção, são definidos os recursos de RAG que ancoram respostas em bases confiáveis, guardrails específicos conforme políticas e fluxos de cada instituição e avaliações que simulam cenários realistas para medir precisão e consistência.

Esses elementos passam por uma bateria de testes extensivos, que permitem identificar vulnerabilidades e ajustar o comportamento do agente antes de chegar ao ambiente real. Uma vez em operação, a proteção continua em duas camadas complementares: a primeira intercepta solicitações potencialmente maliciosas ou fora do escopo antes que cheguem ao modelo; a segunda verifica a saída gerada, removendo dados sensíveis, bloqueando menções indevidas e detectando possíveis alucinações.

Mas, em escala, prevenir não basta – é preciso garantir qualidade contínua. Para isso, a companhia opera com um sistema de observabilidade em tempo real que avalia intenção, emoção e tom de cada interação, atribuindo uma pontuação automática que sinaliza possíveis pontos críticos.

Quando esse score cai abaixo do esperado, a conversa é direcionada a especialistas que realizam curadoria manual, identificam lacunas na base de conhecimento e aplicam correções diretamente nos mecanismos de recuperação de informação. Em casos de padrões recorrentes, o time de otimização ajusta instruções, reforça guardrails e redefine parâmetros operacionais. Esse ciclo constante de prevenção, monitoramento e ajuste é o que sustenta a confiabilidade em ambientes altamente regulados, como o financeiro, onde uma resposta errada representa risco direto ao negócio.

“Hoje, garantir que cada interação seja precisa e segura é tão importante quanto a capacidade da IA de processar dados em tempo real. A confiança é construída com arquitetura robusta, observabilidade contínua e intervenções rápidas quando necessário. É isso que permite que agentes sustentem operações sensíveis sem oferecer riscos à reputação ou ao negócio”, finaliza o executivo.