Compartilhar:
Autores
){kind=small}
){kind=small}
Seu agente de IA está mentindo para você: como os fluxos de trabalho geram resultados confiáveis
Tempo de leitura: 18 minutos
Neste artigo, você aprenderá como a equipe de IA da Vonage utilizou fluxos de trabalho para tornar os sistemas de IA com comportamento autônomo mais previsíveis, reproduzíveis e prontos para produção.
A IA generativa é, por natureza, probabilística. Peça a um modelo de IA para escrever um e-mail, resumir uma reunião ou gerar código, e resultados ligeiramente diferentes entre as execuções geralmente não representam um problema. Em muitas tarefas criativas ou exploratórias, a variação faz parte do valor.
Os sistemas analíticos são diferentes.
Quando os sistemas de IA são utilizados para classificar funcionários, gerar relatórios operacionais, analisar interações com clientes ou identificar tendências de negócios, a consistência é fundamental. Se a mesma consulta aos mesmos dados produzir respostas diferentes a cada vez, fica difícil confiar nos resultados ou tomar decisões com base neles.
Durante experimentos internos na Vonage, observamos isso em primeira mão ao desenvolver fluxos de trabalho de análise baseados em IA para dados de experiência do cliente. Em uma execução, um agente classificou Maria como a melhor representante de atendimento. Quinze minutos depois, usando a mesma configuração, o mesmo sistema classificou James em primeiro lugar. Uma terceira execução indicou Priya como o melhor resultado.
The same AI analytics query produced different top-ranked representatives across repeated runs, despite using the same dataset and prompt.
Para análises exploratórias, esse tipo de variabilidade pode ser aceitável. Mas, no caso de painéis programados, revisões operacionais, fluxos de trabalho de garantia de qualidade ou relatórios de conformidade, resultados inconsistentes rapidamente se tornam um problema de produção.
Isso levantou uma questão importante para a equipe de IA da Vonage: como tornar os sistemas autônomos mais previsíveis quando a consistência é fundamental?
Para investigar isso, realizamos uma série de experimentos comparando a execução agênica padrão com caminhos de execução orientados por fluxos de trabalho, projetados para padronizar a metodologia analítica, reduzir o desvio no raciocínio e melhorar a reprodutibilidade. Os resultados mostraram que os fluxos de trabalho podem melhorar significativamente a consistência em sistemas analíticos orientados por IA, sem comprometer a flexibilidade que torna os agentes úteis em primeiro lugar.
Os sistemas agentes modernos fazem mais do que apenas gerar texto. Eles analisam problemas, escolhem metodologias analíticas, escrevem código intermediário, realizam cálculos e determinam como os resultados devem ser apresentados.
Pequenas diferenças no raciocínio, no início de um ciclo de execução agênica, podem se acumular e resultar em resultados substancialmente diferentes mais adiante no processo.
Durante nossos experimentos, observamos repetidamente o mesmo padrão: consultas idênticas em conjuntos de dados idênticos produziram resultados diferentes nas diferentes execuções. Uma solicitação como:
“Quem são os meus 10 melhores representantes?”
poderia indicar três funcionários de alto desempenho em apenas meia hora.
Os dados subjacentes nunca mudaram. O que mudou foi o processo de raciocínio do agente.
Para responder a uma consulta como essa, um agente precisa tomar uma série de decisões antes mesmo de escrever uma única linha de código de análise:
Quais métricas são mais importantes?
Como essas métricas devem ser ponderadas?
Como os valores devem ser normalizados?
Quais limites ou filtros devem ser aplicados?
Como os resultados finais devem ser apresentados?
Essas decisões não estão explicitamente definidas na instrução. O modelo as infere durante a execução, e pequenas diferenças no raciocínio podem levar a abordagens analíticas diferentes.
Em uma análise, o agente pode priorizar os índices de satisfação do cliente e de empatia. Em outra, pode dar mais peso à taxa de resolução ou excluir totalmente os atendentes com baixo volume de atendimento. O resultado é um caminho de cálculo diferente e, em última instância, uma classificação diferente.
Esse tipo de variabilidade é controlável durante a fase de exploração. Mas em sistemas de produção — onde relatórios, painéis de controle, Audits e decisões operacionais dependem da consistência — ela se torna um problema de confiabilidade.
A maioria dos agentes de IA modernos utiliza um padrão de raciocínio comumente chamado de ReAct (Raciocinar → Agir → Observar). Em vez de gerar uma única resposta, o agente segue uma sequência de decisões e chamadas de ferramentas.
Um fluxo de execução simplificado poderia ser assim:
Motivo → Compreender o conjunto de dados
Ação → Consultar as colunas disponíveis
Observar → Analisar as características disponíveis
Raciocinar → Selecionar métricas e metodologia
Ação → Gerar código de análise
Observar → Avaliar os resultados
Raciocinar → Formatar a resposta final
Cada etapa do raciocínio cria uma nova oportunidade para divergência.
Uma pequena alteração no início do processo — como selecionar métricas diferentes ou atribuir pesos ligeiramente diferentes — pode alterar todas as etapas subsequentes. O agente pode gerar um código de análise diferente, aplicar filtros diferentes ou calcular pontuações de maneira diferente, mesmo quando a consulta original e o conjunto de dados permanecem idênticos.
O diagrama abaixo ilustra como uma única decisão de raciocínio pode levar o agente a caminhos de execução completamente diferentes.
A small reasoning difference inside a ReAct loop can compound into different analytical methodologies, calculations, and final outputs across repeated agent runs.
Esse efeito cumulativo é um dos principais desafios dos sistemas agentes de produção. Quanto mais longa se torna a cadeia de raciocínio, maiores são as chances de os resultados apresentarem variações entre as execuções.
Para reduzir essa variabilidade, investigamos se os fluxos de trabalho poderiam limitar as partes do sistema mais responsáveis pelo desvio analítico.
Em vez de permitir que o agente invente uma nova metodologia toda vez que uma consulta é executada, um fluxo de trabalho fornece um caminho de execução predefinido com base em uma “execução padrão” validada. O fluxo de trabalho preserva a estrutura analítica que produziu um resultado confiável, incluindo:
métricas selecionadas
lógica de cálculo
limites e filtros
estrutura e formatação da saída
Nota >> Confira a configuração completa do experimento e a execução de referência no repositório do GitHub.
O agente ainda executa a análise e interage com dados em tempo real, mas as decisões metodológicas críticas não são mais recalculadas a cada execução.
Uma etapa simplificada do fluxo de trabalho poderia ser assim:
PASSO 2: Agregar métricas de desempenho dos agentes
OBJETIVO: Calcular as métricas médias de desempenho em todas as chamadas
AÇÃO: Agrupar por agent_id e calcular as médias
RESULTADO: Conjunto de dados de pontuação consistente para classificação
O objetivo não era tornar os agentes determinísticos no sentido tradicional da programação. Em vez disso, queríamos testar se os fluxos de trabalho poderiam reduzir o desvio no raciocínio o suficiente para tornar os resultados analíticos mais estáveis, reproduzíveis e prontos para produção.
Para avaliar se os fluxos de trabalho poderiam reduzir a variabilidade nos sistemas de agentes analíticos, realizamos uma série de experimentos controlados utilizando dados reais da experiência dos clientes.
Testamos as mesmas consultas analíticas repetidamente em um conjunto de dados de call center que continha:
~3.900 interações com clientes
33 representantes de atendimento ao cliente
20 características de desempenho extraídas
Todas as experiências utilizaram o Claude Opus 4.5 por meio do AWS Bedrock, com as configurações padrão de temperatura.
Para cada caso de teste, primeiro executamos a consulta 10 vezes usando um fluxo de execução padrão baseado em agente. Em seguida, criamos um fluxo de trabalho a partir de uma “execução de referência” validada e executamos esse fluxo de trabalho mais 10 vezes no mesmo conjunto de dados.
O objetivo: avaliar em que medida os resultados variaram entre as execuções e se os fluxos de trabalho poderiam reduzir essa variação.
Nota >> A configuração exata do experimento pode ser vista no apêndice no GitHub.
Nossa primeira experiência se concentrou em uma consulta analítica simples:
“Quem são os meus 10 melhores representantes com base nos indicadores de desempenho geral?”
À primeira vista, isso parece simples. Mas o agente ainda precisa tomar várias decisões analíticas antes de poder gerar uma classificação:
Quais métricas são mais importantes?
Como essas métricas devem ser ponderadas?
Como as pontuações devem ser normalizadas?
Quais filtros ou limites devem ser aplicados?
Sem um fluxo de trabalho, essas decisões variavam de execução para execução.
Em 10 execuções independentes da mesma consulta, o agente gerou repetidamente diferentes abordagens analíticas. Ele alterou os pesos das métricas, utilizou diferentes escalas de pontuação e variou o número de fatores de desempenho incluídos na classificação.
Em algumas simulações, a satisfação do cliente teve o maior peso. Em outras, a taxa de resolução tornou-se o fator dominante. Algumas simulações utilizaram uma escala de pontuação de 0 a 1, enquanto outras passaram a usar uma escala de 0 a 100.
Essas pequenas mudanças metodológicas geraram resultados diferentes. Três representantes diferentes alcançaram a primeira posição nas 10 execuções.
Repeated executions of the same AI ranking query produced different scoring methodologies, metric weights, and top-ranked representatives across 10 independent runs.
A variabilidade não foi causada por alterações nos dados. A variação na classificação decorreu do fato de o agente reinterpretar continuamente como a própria análise deveria funcionar.
Para avaliar se os fluxos de trabalho reduziram esse desvio, repetimos o experimento utilizando um fluxo de trabalho gerado a partir de uma “execução de referência” validada.
Sem um fluxo de trabalho, as classificações variavam significativamente entre as execuções. Diferentes representantes apareciam, desapareciam ou mudavam drasticamente de posição entre as execuções. Algumas execuções chegaram a retornar menos de 10 resultados porque o agente formatou a resposta de maneira diferente.
Com um fluxo de trabalho estabelecido, as classificações tornaram-se muito mais estáveis. O mesmo representante ficou em primeiro lugar em todas as execuções do fluxo de trabalho, o mesmo representante ficou em segundo lugar em todas as execuções do fluxo de trabalho, e o conjunto completo dos 10 primeiros representantes permaneceu idêntico em todas as execuções.
Apenas pequenas diferenças na ordem de classificação apareceram nas posições mais baixas do ranking.
Workflow-constrained executions produced significantly more stable ranking results across repeated runs compared to fully dynamic agentic execution.
As melhorias na consistência foram mensuráveis em todas as métricas de classificação que avaliamos:
A consistência do Top-1 melhorou de 60% para 100%
A sobreposição do Top 10 tornou-se completamente estável ao longo das execuções do fluxo de trabalho
A semelhança entre as classificações aumentou significativamente entre as execuções
Os fluxos de trabalho reduziram tanto o desvio na classificação quanto o desvio metodológico. Voltaremos a abordar duas implicações importantes (precisão e velocidade de execução) na seção de conclusões.
Nosso segundo experimento testou o grau de sensibilidade do agente a pequenas variações na formulação da linguagem natural.
Fizemos a mesma pergunta de quatro maneiras ligeiramente diferentes:
“Quem são os meus 10 melhores representantes?”
“Mostre-me os 10 representantes com melhor desempenho”
“Liste os 10 melhores representantes por desempenho”
“Quais representantes têm os melhores indicadores?”
Cada variação foi executada várias vezes, tanto com quanto sem fluxos de trabalho.
Sem um fluxo de trabalho, essas pequenas alterações na redação frequentemente geravam um comportamento analítico visivelmente diferente. Termos como “melhores representantes”, “de melhor desempenho” e “melhores métricas” levavam o agente a interpretações diferentes da tarefa. Em algumas execuções, a análise se concentrava mais em KPIs mensuráveis, como a taxa de resolução, enquanto outras execuções enfatizavam o sentimento ou uma pontuação composta mais ampla.
As pessoas geralmente interpretam essas frases como equivalentes. O agente, porém, não.
Com os fluxos de trabalho ativados, a formulação passou a ter muito menos importância, pois a metodologia de execução já estava definida. Em vez de reinventar a análise para cada variação de redação, o sistema reutilizava o mesmo caminho de execução validado.
Os resultados mostraram melhorias mensuráveis tanto na consistência quanto na estabilidade da execução.
Workflow-constrained executions produced more consistent analytical structures and response formats across different phrasings of the same query.
Os fluxos de trabalho reduziram o impacto da ambiguidade linguística e tornaram o comportamento do sistema mais previsível em solicitações semanticamente semelhantes.
É fácil perceber a variabilidade nas classificações. O desvio na agregação costuma ser mais difícil de detectar — mas é muito mais perigoso em sistemas de relatórios de produção.
Para testar como os agentes lidavam com tarefas analíticas mais complexas, executamos repetidamente a seguinte consulta no mesmo conjunto de dados:
“Calcule a pontuação média de sentimento agrupada por call_reason_categorye identifique quais categorias apresentam tendências de queda.”
Ao contrário de uma simples consulta de classificação, esse tipo de solicitação obriga o agente a tomar várias decisões analíticas em camadas durante a execução:
Como as categorias devem ser agrupadas?
Como as médias devem ser calculadas?
Como se deve definir “em declínio”?
Quais filtros ou limites devem ser aplicados?
Complex aggregation queries require agents to make multiple methodological decisions that can lead to inconsistent analytical outcomes across repeated runs.
Sem fluxos de trabalho, essas decisões variavam significativamente de uma execução para outra. Algumas execuções utilizavam janelas de tempo diferentes para a análise de tendências; outras agrupavam as categorias de maneira diferente; algumas excluíam totalmente as categorias de baixo volume, enquanto outras as incluíam.
Como resultado, a mesma categoria poderia aparecer como “em declínio” em uma execução e como “estável” em outra, mesmo que nada nos dados tivesse mudado.
Esse tipo de variabilidade é importante porque as consultas de agregação estão no centro dos sistemas de relatórios operacionais. Painéis, análises de KPIs, relatórios de conformidade e resumos executivos dependem, todos, de cálculos que produzam resultados consistentes ao longo do tempo.
Com os fluxos de trabalho ativados, a metodologia de agregação permaneceu estável em todas as execuções. A lógica de agrupamento, os cálculos de tendência, os limites e as regras de filtragem foram preservados a partir da definição validada do fluxo de trabalho, gerando resultados reproduzíveis em execuções repetidas.
Os fluxos de trabalho reduziram o risco de desvio analítico em cenários de elaboração de relatórios em que a consistência não é apenas útil, mas também exigida por lei.
Nosso experimento final concentrou-se em consultas com critérios intencionalmente ambíguos ou conflitantes.
Perguntamos ao agente:
“Identifique representantes que apresentem riscos de conformidade, mas que também tenham um alto índice de satisfação do cliente.”
Esse tipo de solicitação é comum na análise operacional. As equipes frequentemente precisam identificar combinações incomuns de sinais, como funcionários que geram feedback positivo dos clientes, mas que, ao mesmo tempo, suscitam preocupações elevadas em relação à conformidade.
O desafio é que termos como “alta satisfação do cliente” e “risco de conformidade” não estão definidos matematicamente na própria consulta. O agente deve decidir o que esses limites significam durante a execução.
Sem fluxos de trabalho, essas definições sofriam alterações significativas entre as execuções.
Em algumas aplicações, “alta satisfação” significava pontuações acima de 4,5. Em outras, o limite caía para cerca de 3,0. A definição de “risco de conformidade” também variava dependendo de como o agente interpretava as escalações, as constatações de Audit ou as violações de políticas.
Como resultado, a mesma consulta retornou entre 5 e 16 representantes.
Ambiguous analytical criteria caused the AI agent to apply different thresholds across repeated runs, producing significantly different result counts from the same query and dataset.
Com os fluxos de trabalho ativados, essas decisões de limite foram preservadas a partir da definição validada do fluxo de trabalho, gerando resultados substancialmente mais estáveis ao longo das execuções.
Workflows improved consistency and result stability for ambiguous edge-case queries by preserving threshold definitions across repeated runs.
Mesmo com os fluxos de trabalho, os casos extremos continuaram sendo mais difíceis de estabilizar do que os experimentos de classificação apresentados anteriormente neste artigo. A linguagem de negócios ambígua, naturalmente, introduz mais variação do que tarefas analíticas claramente definidas.
No entanto, os fluxos de trabalho ainda reduziram significativamente o desvio do limiar e melhoraram a consistência em:
contagem de resultados
sobreposição representativa
estabilidade da saída
Isso é importante para sistemas operacionais como:
detecção de anomalias
relatórios de audit
avaliações de conformidade
sistemas de alerta automatizados
Nesses ambientes, limites inconsistentes podem gerar falsos positivos, falsos negativos ou conjuntos de resultados sinalizados totalmente diferentes de uma execução para outra.
Em todos os quatro experimentos, o agente mudava constantemente a forma como realizava a análise. Sempre que precisava tomar uma decisão ambígua, ele gerava variabilidade nos resultados.
Sem fluxos de trabalho, os agentes alteravam repetidamente a forma como abordavam a própria análise. Eles selecionavam métricas diferentes, ajustavam limites, interpretavam as formulações de maneira diferente e modificavam a lógica de agrupamento ou filtragem entre as execuções — mesmo quando a consulta original e o conjunto de dados nunca mudavam.
Os fluxos de trabalho reduziram essa variabilidade ao preservar a metodologia analítica de uma “série de referência” validada.
A principal fonte de inconsistência foi a mudança na metodologia analítica subjacente ao sistema.
Ao longo dos experimentos, os agentes se desviaram repetidamente em áreas como:
ponderação métrica
definições de limiar
lógica de agrupamento
regras de filtragem
cálculos de tendências
fórmulas de pontuação
Cada pequena alteração no raciocínio gerou diferenças em etapas posteriores na geração de código, nos cálculos, nas classificações e nos resultados.
Os fluxos de trabalho limitaram essas decisões ao preservar:
métricas fixas
limites fixos
caminhos de cálculo fixos
ordem de execução fixa
Em vez de reconstruir a metodologia a cada execução, o sistema reutilizou um processo analítico validado.
Workflows stabilize AI analytical systems by preserving validated methodologies, thresholds, and calculations across repeated executions."Isso reduziu tanto o desvio no raciocínio quanto o desvio na saída ao longo de execuções repetidas.
O impacto ficou claro. Com os fluxos de trabalho ativados, observamos:
classificações mais estáveis
resultados de agregação reproduzíveis
o que conta é um resultado mais previsível
menos variações de formatação
uma estrutura analítica mais consistente
Isso é importante porque os sistemas de produção dependem de que os resultados permaneçam estáveis ao longo do tempo. Painéis de controle, sistemas de controle de qualidade, análises de conformidade e fluxos automatizados de geração de relatórios partem do princípio de que a mesma consulta aos mesmos dados deve produzir resultados substancialmente semelhantes.
Sem essa consistência, fica difícil confiar nos sistemas a jusante.
Os experimentos também demonstraram que os fluxos de trabalho eram mais eficazes quando a própria tarefa analítica estava bem definida. Tarefas claras de classificação e agregação se mostraram significativamente mais estáveis do que consultas de casos-limite altamente ambíguas.
Uma das principais lições tiradas dos experimentos foi que consistência e correção não são a mesma coisa.
Um fluxo de trabalho pode preservar de forma confiável uma metodologia que seja estatisticamente fraca, operacionalmente falha ou tendenciosa.
Em um experimento de classificação, o representante que sempre ocupava as primeiras posições também apresentava uma das menores amostras do conjunto de dados. O fluxo de trabalho reproduzia o mesmo resultado todas as vezes, mas isso não tornava automaticamente a conclusão confiável.
Os fluxos de trabalho preservam as decisões analíticas. Eles não verificam se essas decisões estão corretas.
A análise humana ainda é importante:
a escolha da métrica deve ser avaliada com cuidado
os limites exigem conhecimento especializado na área
A lógica de agregação precisa ser validada
casos extremos exigem discernimento operacional
Isso se torna importante antes que os fluxos de trabalho sejam implementados em sistemas de produção que influenciam as decisões empresariais ou os resultados para os clientes.
O objetivo não é simplesmente a reprodutibilidade. O objetivo é uma análise reprodutível e bem conduzida.
As execuções dos fluxos de trabalho foram consistentemente mais rápidas em todos os experimentos.
Sem fluxos de trabalho, o agente perdia tempo repetidamente:
explorando o conjunto de dados
reavaliação das metodologias
revisão dos cálculos
reavaliando abordagens analíticas
geração de caminhos alternativos de execução
Cada etapa adicional de raciocínio acarretava mais chamadas ao LLM, mais sobrecarga de execução e mais oportunidades para divergências.
Com os fluxos de trabalho, grande parte desse raciocínio exploratório foi eliminado. O caminho de execução já estava definido, de modo que o sistema pôde se concentrar em executar a análise, em vez de reinventá-la.
Menos desvios analíticos resultaram em:
caminhos de execução mais curtos
tempos de resposta mais curtos
comportamento mais previsível em tempo de execução
Os ganhos de desempenho não foram totalmente determinísticos, mas a tendência se manteve consistente em todos os experimentos: menos desvios analíticos resultaram em uma execução mais rápida e estável.
Workflow-constrained executions completed faster and required fewer reasoning steps than fully dynamic agentic executions.
Os experimentos demonstraram que os fluxos de trabalho são mais valiosos em sistemas nos quais a consistência é mais importante do que a exploração.
Os fluxos de trabalho são uma excelente opção quando:
Os relatórios precisam ser reproduzíveis.
Os resultados alimentam sistemas ou painéis de controle posteriores.
A lógica analítica deve permanecer estável ao longo do tempo.
Os resultados são analisados operacionalmente ou Auditados posteriormente.
As equipes precisam de classificações, limites ou cálculos consistentes ao longo de execuções repetidas.
Isso é especialmente importante para:
relatórios operacionais
avaliações de conformidade
Sistemas de controle de qualidade
detecção de anomalias
alertas automatizados
plataformas de análise de clientes
Nesses ambientes, a reprodutibilidade é muito mais importante do que a criatividade.
No entanto, os fluxos de trabalho não são a solução adequada para todos os casos de uso.
O raciocínio agênico dinâmico ainda agrega valor quando:
explorar conjuntos de dados desconhecidos
elaboração de hipóteses
gerando perspectivas analíticas alternativas
experimentando diferentes metodologias
em busca de padrões inesperados
Nesses cenários, a variabilidade pode, na verdade, ser útil, pois ajuda a revelar diferentes abordagens e perspectivas.
O principal dilema é entre flexibilidade e consistência. Os fluxos de trabalho restringem intencionalmente partes do processo de raciocínio para que o comportamento analítico se torne mais previsível ao longo do tempo.
Os agentes de IA são poderosos porque conseguem raciocinar dinamicamente, adaptar-se ao contexto e gerar abordagens analíticas em tempo real. Mas essa flexibilidade também traz variabilidade.
Em todos os quatro experimentos, observou-se o mesmo padrão: quando a metodologia analítica era mantida totalmente dinâmica, os resultados variavam de uma execução para outra — mesmo quando a consulta e os dados subjacentes nunca mudavam.
Os fluxos de trabalho reduziram esse desvio ao preservar as decisões críticas subjacentes à análise, incluindo métricas, limites, lógica de agrupamento e caminhos de execução.
Eles não tornam os sistemas agentes perfeitamente determinísticos, nem garantem a correção. A revisão humana, a validação e o conhecimento especializado na área continuam sendo importantes.
Mas quando a consistência, a reprodutibilidade e a confiabilidade operacional são importantes, os fluxos de trabalho oferecem uma maneira prática de tornar os sistemas autônomos substancialmente mais previsíveis em ambientes de produção.
Tem alguma dúvida ou quer compartilhar o que está criando?
Inscreva-se no Boletim Informativo para Desenvolvedores
Siga-nos no X (antigo Twitter) para ficar por dentro das novidades
Assista aos tutoriais no nosso canal do YouTube
Conecte-se conosco na página de desenvolvedores da Vonage no LinkedIn
Fique conectado e acompanhe as últimas notícias, dicas e eventos para desenvolvedores.
Os experimentos descritos neste artigo foram apoiados por um fluxo de trabalho validado do tipo “golden run”, juntamente com configurações experimentais, definições de métricas e exemplos de implementação.
Para os leitores interessados em explorar a metodologia com mais detalhes, publicamos os materiais de apoio completos no GitHub:
Repositório para a criação de fluxos de trabalho agenticos previsíveis
O repositório inclui:
o fluxo de trabalho completo da “Golden Run” em sete etapas,
configurações experimentais,
definições métricas,
exemplos de validação e tratamento de casos extremos,
e os diagramas utilizados ao longo deste artigo.