“Man in the Loop” x “LLM in the Loop”

Introdução

Na IA, encontrar um equilíbrio entre a supervisão humana (“man in the loop”) e a automação (“LLM in the loop”) é fundamental para a criação de soluções para o mundo real. Nós, da Vonage AI — a equipe responsável pelo desenvolvimento de serviços de IA na Vonage —, enfrentamos esse desafio ao redesenhar nossos sistemas de conversão de fala em texto (STT) para atender às crescentes demandas por transcrições precisas em centrais de atendimento.

Para superar as limitações do benchmarking tradicional, desenvolvemos uma nova abordagem utilizando Grandes Modelos de Linguagem (LLMs) para gerar transcrições de referência de alta qualidade, por meio do processamento dos resultados de vários provedores de STT. Em vez de depender de referências geradas por humanos ou de uma única “verdade de referência”, o LLM sintetiza uma transcrição consensual, utilizando sua compreensão da linguagem e do contexto em todas as entradas.

Essa referência derivada de LLM permite o cálculo escalável, imparcial e sensível ao contexto da Taxa de Erro de Palavras (WER) para cada provedor.

Nesta postagem, mostramos como esse método baseado em LLM se compara à análise comparativa tradicional, com foco em:

• Os limites dos métodos atuais de benchmarking

• Como os LLMs sintetizam transcrições de referência

• Principais conclusões de nossos experimentos

Sobre a equipe de IA da Vonage

Na Vonage AI, somos uma equipe de pesquisadores e engenheiros dedicada a ampliar os limites do que é possível com a inteligência artificial. Como parte do compromisso da Vonage com as comunicações inteligentes, nos concentramos tanto em IA conversacional de ponta quanto em pesquisa fundamental em aprendizado de máquina, oferecendo soluções de IA robustas, escaláveis e voltadas para o futuro. Esta publicação compartilha um de nossos esforços de pesquisa: repensar como avaliamos a precisão da transcrição em um mundo dinâmico e multimodelo.

Método atual: avaliadores humanos para a verdade de referência

Há alguns anos, quando estávamos ajustando nossos modelos de STT para os diversos dialetos presentes entre nossos gravações de áudio do call center de nossos clientes , contávamos fortemente com anotadores humanos para transcrever trechos de áudio. Essas transcrições serviam como “referência de referência” para o treinamento e a avaliação de nossos modelos internos. 

Desafios relacionados ao rotulamento feito por pessoas

1. O processo é demorado, o que retarda os ciclos de desenvolvimento.

2. Os altos custos dificultam a expansão de forma eficaz.

3. Os revisores humanos costumam partir de transcrições já existentes, o que pode introduzir um viés inerente em suas correções.

4. A tarefa é mentalmente desgastante, o que aumenta a probabilidade de erros humanos com o passar do tempo.

No entanto, os desafios valeram a pena; nosso modelo proprietário, cuidadosamente aperfeiçoado, acabou superando as principais soluções de terceiros para o nosso caso de uso específico.

Novos desafios diante de necessidades em constante evolução

À medida que as necessidades dos clientes foram mudando, enfrentamos novos desafios com a etiquetagem manual

• Para oferecer suporte a novos idiomas e dialetos, foi necessário contratar especialistas humanos fluentes em cada idioma específico.

• Os testes em casos de uso específicos do setor, como a transcrição médica, exigiram a participação de pessoas com conhecimento especializado na área.

O rápido crescimento dos modelos avançados de código aberto trouxe mais opções para avaliação, implantação e ajuste fino; por isso, precisávamos de uma maneira escalável e consistente de avaliar a precisão sem ter que esperar semanas pela transcrição manual.

Como resultado, entramos em uma nova era: o LLM no ciclo de decisão.

O que é o “LLM in the Loop”?

Em vez de contar com pessoas para transcrever o áudio como referência, agora usamos um Grande Modelo de Linguagem (LLM) para gerar transcrições de referência. O LLM analisa os resultados de vários sistemas de transcrição e os compara para produzir a reconstrução mais precisa do que foi dito, às vezes alinhando-se ao resultado de um modelo para um segmento parcial do áudio e ao resultado de outro modelo para uma parte diferente do áudio.

É como ter um árbitro inteligente e rápido que:

• Lê várias transcrições do mesmo áudio

• Compreende o contexto e as nuances da linguagem

• Produz uma “referência” confiável e imparcial para comparar os modelos

Pipeline de software para prova de conceito (POC)

Para validar o conceito, processamos um corpus bem conhecido que havíamos rotulado manualmente anteriormente. Utilizamos esse corpus para estimar a precisão do fluxo de trabalho baseado em LLM, ao mesmo tempo em que avaliamos a contribuição original do trabalho de rotulagem manual.

Veja o que criamos:

1. Transcrevemos os mesmos trechos de áudio de 5 a 15 segundos utilizando diversos sistemas de reconhecimento de fala (STT), incluindo nossos próprios modelos internos, modelos de código aberto e fornecedores terceirizados.

2. Para cada trecho, reunimos todas as transcrições juntamente com as anotações originais feitas por humanos. Em seguida, apresentamos essas alternativas ao LLM (sem revelar suas fontes) e solicitamos que ele gerasse a transcrição mais precisa e provável para aquele trecho.

3. Utilizando essa “verdade de referência sintética” gerada pelo LLM em cerca de 300 amostras, calculamos a Taxa de Erro de Palavra (WER) para cada sistema de reconhecimento de fala (STT).

Workflow comparison of human-in-the-loop and LLM-in-the-loop methods for generating reference transcriptions and evaluating speech-to-text model accuracy.

O circuito humano e o circuito do LLM. A parte roxa é comum aos dois circuitos.

Um exemplo: como o LLM sintetiza a melhor referência

Imaginemos que tenhamos os seguintes resultados de reconhecimento de fala (STT) de vários provedores para um breve trecho de áudio de um agente:

Example of transcription variations from multiple speech-to-text models for the same audio snippet, used by the LLM to synthesize a consensus reference.

Essas transcrições variam em termos de formatação, representação numérica e precisão, refletindo os resultados típicos de diferentes modelos.

O LLM recebeu a instrução de gerar duas transcrições de referência alinhadas:

Referência alfabética:

Se o prazo de 24 horas expirar, será cobrada uma taxa de 50 dólares para cancelar até oito dias antes da chegada.

Referência alfanumérica:

Se o prazo de 24 horas expirar, será cobrada uma taxa de US$ 50 para cancelamentos feitos até 8 dias antes da chegada.

Essa abordagem garante uma comparação justa (e imparcial em relação à formatação) entre diferentes tipos de resultados de modelos: modelos sem capacidade de formatação (como a nossa solução) são avaliados em relação a referências não formatadas, enquanto modelos com capacidade de formatação são avaliados em relação a referências formatadas que preservam um significado equivalente.

Modelos avaliados e configuração

Foram testados os seguintes modelos:

1. Vonage AI (VAI) - Nosso modelo interno otimizado, treinado com dados rotulados manualmente pela mesma equipe

2. Vonage AI (VAI) — Nosso modelo de versão anterior, não otimizado para este caso de uso

3. As transcrições originais revisadas por pessoas

4. Três modelos de código aberto da OpenAI: Whisper-Large(V3), Whisper-Medium, Whisper-Small

5. Dois prestadores de serviços terceirizados

Para examinar o papel das referências humanas, utilizamos o fluxo de avaliação baseado em LLM em duas configurações:

1. Label-In: A transcrição humana foi incluída entre as respostas alternativas apresentadas ao LLM para a síntese de referência.

2. Label-Out: A transcrição humana foi excluída (ocultada) das alternativas apresentadas ao LLM

Comparamos os dois para avaliar a robustez da referência gerada pelo LLM e os possíveis vieses introduzidos pelos dados rotulados por humanos.

Resultados

Taxa de Erros de Palavra (WER)

Utilizamos a Taxa de Erros do Word (WER) como nossa principal métrica de avaliação. Trata-se de uma medida padrão da qualidade da transcrição. A WER quantifica o número de erros em uma transcrição, comparando-a com um texto de referência. Esses erros se enquadram em três categorias:

• Inserções: palavras adicionais

• Omissões: palavras que não foram incluídas

• Substituições: palavras incorretas no lugar das corretas

O WER é calculado por meio da seguinte fórmula:

Formula for calculating Word Error Rate (WER) in speech-to-text benchmarking: the sum of insertions, deletions, and substitutions divided by the total words in the reference, multiplied by 100.

Um WER mais baixo indica uma transcrição mais precisa.

Comparison of Word Error Rate (WER) across speech-to-text models, showing results with human-labeled references (blue) versus LLM-generated references (red).

Os WERs foram praticamente idênticos nas duas configurações, demonstrando a robustez das referências geradas por LLMs.

Principais conclusões

• Classificação e valores de WER estáveis tanto na configuração com rótulo quanto na configuração sem rótulo para a maioria dos modelos.

• O “3rd-Party 2” apresentou uma melhora notável quando a anotação humana foi excluída (WER 10,5 → 9,5), sugerindo um melhor alinhamento com as saídas geradas pelo LLM do que com as anotações humanas.

• As transcrições anotadas por pessoas apresentaram uma WER mais alta do que quase todos os modelos automatizados nesta avaliação. Isso era de se esperar, considerando que o corpus foi transcrito por falantes não nativos de inglês e que a ferramenta de anotação não contava com mecanismos de proteção contra erros de digitação.

• O modelo VAI ajustado com precisão, treinado com rótulos fornecidos por humanos pela mesma equipe, ainda assim apresentou melhor desempenho do que sua versão não ajustada (WER 13,7 → 12,5), demonstrando a utilidade desses dados, apesar de suas imperfeições.

Conclusão

Esses resultados demonstram que as transcrições de referência geradas por LLM são confiáveis, consistentes e escaláveis para a avaliação comparativa de sistemas de reconhecimento de fala (STT). As taxas de erros de reconhecimento (WER) e as classificações praticamente idênticas nas diversas avaliações, com ou sem dados rotulados por humanos, destacam a robustez do pipeline.

Embora alguns modelos possam se alinhar melhor com a tokenização ou o estilo de formatação do LLM (como observado no “3rd-Party 2”), de modo geral, as referências derivadas do LLM oferecem um método de avaliação justo e reproduzível.

É importante ressaltar que, embora as referências rotuladas por humanos tenham apresentado taxas de erro mais elevadas, elas continuam sendo valiosas para o treinamento do modelo. O ajuste fino com base nesses dados melhorou significativamente o desempenho do modelo, reafirmando o papel dos dados rotulados no desenvolvimento do modelo, mesmo quando a avaliação pode ser automatizada.

Conclusões finais

• Os LLMs podem gerar transcrições de referência confiáveis, possibilitando testes comparativos escaláveis e de alto rendimento.

• Referências rotuladas por humanos não são mais necessárias para a avaliação, mas ainda oferecem benefícios para o treinamento.

• Esse método agiliza a avaliação comparativa imparcial entre novos modelos, linguagens e domínios, eliminando a necessidade de transcrição manual.

Quer criar seu próprio agente de IA e comparar o desempenho de diferentes soluções? Você pode experimentar o seu próprio Agente do AI Studio e combiná-lo com várias soluções de terceiros, como o Deepgram e ver qual funciona melhor para você.