){kind=small}
){kind=small}
Ihr KI-Agent belügt Sie: Wie Workflows zu zuverlässigen Ergebnissen führen
Lesedauer: 16 Minuten
In diesem Artikel erfahren Sie, wie das Vonage-KI-Team mithilfe von Workflows agentenbasierte KI-Systeme vorhersehbarer, reproduzierbarer und produktionsreif gemacht hat.
Generative KI ist von Natur aus probabilistisch. Wenn man ein KI-Modell bittet, eine E-Mail zu verfassen, eine Besprechung zusammenzufassen oder Code zu generieren, stellen geringfügige Abweichungen zwischen den einzelnen Durchläufen in der Regel kein Problem dar. Bei vielen kreativen oder explorativen Aufgaben ist diese Variation Teil des Nutzens.
Analysesysteme sind anders.
Wenn KI-Systeme dazu eingesetzt werden, Mitarbeiter zu bewerten, Betriebsberichte zu erstellen, Kundeninteraktionen auszuwerten oder Geschäftstrends zu erkennen, kommt es auf Konsistenz an. Wenn dieselbe Abfrage derselben Daten jedes Mal unterschiedliche Ergebnisse liefert, wird es schwierig, den Ergebnissen zu vertrauen oder darauf basierend Entscheidungen zu treffen.
Bei internen Experimenten bei Vonage konnten wir dies aus erster Hand beobachten, als wir KI-gesteuerte Analyse-Workflows für Kundenerfahrungsdaten entwickelten. Bei einem Durchlauf stufte das System Maria als beste Support-Mitarbeiterin ein. Fünfzehn Minuten später, bei gleicher Konfiguration, wies dasselbe System stattdessen James den ersten Platz zu. Bei einem dritten Durchlauf wurde Priya als bestes Ergebnis ermittelt.
The same AI analytics query produced different top-ranked representatives across repeated runs, despite using the same dataset and prompt.
Für explorative Analysen kann eine solche Variabilität akzeptabel sein. Bei planmäßigen Dashboards, operativen Überprüfungen, Qualitätssicherungsabläufen oder Compliance-Berichten werden inkonsistente Ergebnisse jedoch schnell zu einem Produktionsproblem.
Dies warf für das Vonage-KI-Team eine wichtige Frage auf: Wie lassen sich agentenbasierte Systeme vorhersehbarer gestalten, wenn Konsistenz entscheidend ist?
Um dies zu untersuchen, führten wir eine Reihe von Experimenten durch, in denen wir die standardmäßige agentenbasierte Ausführung mit workflowgesteuerten Ausführungswegen verglichen, die darauf ausgelegt sind, die analytische Methodik festzulegen, Abweichungen in der Schlussfolgerung zu reduzieren und die Reproduzierbarkeit zu verbessern. Die Ergebnisse zeigten, dass Workflows die Konsistenz in KI-gesteuerten Analysesystemen erheblich verbessern können, ohne dabei die Flexibilität einzuschränken, die Agenten überhaupt erst nützlich macht.
Moderne agentenbasierte Systeme können mehr als nur Text generieren. Sie analysieren Probleme, wählen analytische Methoden aus, schreiben Zwischencode, führen Berechnungen durch und legen fest, wie die Ergebnisse dargestellt werden sollen.
Geringfügige Unterschiede in der Argumentation zu Beginn einer agentischen Ausführungsschleife können sich im weiteren Verlauf des Prozesses zu wesentlich unterschiedlichen Ergebnissen summieren.
Im Verlauf unserer Experimente haben wir immer wieder dasselbe Muster beobachtet: Identische Abfragen auf identische Datensätze führten bei verschiedenen Durchläufen zu unterschiedlichen Ergebnissen. Eine Anfrage wie:
„Wer sind meine 10 besten Vertreter?“
könnte innerhalb einer halben Stunde drei verschiedene Spitzenmitarbeiter hervorbringen.
Die zugrunde liegenden Daten haben sich nie geändert. Was sich geändert hat, war der Denkprozess des Agenten.
Um eine solche Anfrage zu beantworten, muss ein Agent eine Reihe von Entscheidungen treffen, bevor er auch nur eine einzige Zeile Analysecode schreibt:
Welche Kennzahlen sind am wichtigsten?
Wie sollten diese Kennzahlen gewichtet werden?
Wie sollten Werte normalisiert werden?
Welche Schwellenwerte oder Filter sollten gelten?
Wie sollen die Endergebnisse dargestellt werden?
Diese Entscheidungen sind in der Eingabeaufforderung nicht ausdrücklich definiert. Das Modell leitet sie während der Ausführung ab, und schon kleine Unterschiede in der Argumentation können zu unterschiedlichen analytischen Ansätzen führen.
In einem Durchlauf könnte der Agent den Werten für Kundenzufriedenheit und Empathie Vorrang einräumen. In einem anderen Durchlauf könnte er der Lösungsquote mehr Gewicht beimessen oder Mitarbeiter mit geringem Bearbeitungsvolumen gänzlich ausschließen. Das Ergebnis ist ein anderer Berechnungsweg und letztendlich eine andere Rangfolge.
Diese Art von Schwankungen lässt sich in der Testphase noch bewältigen. In Produktionssystemen jedoch – wo Berichte, Dashboards, Audits und operative Entscheidungen von Konsistenz abhängen – wird dies zu einem Zuverlässigkeitsproblem.
Die meisten modernen KI-Agenten nutzen ein Denkmodell, das gemeinhin als ReAct (Reason → Act → Observe) bezeichnet wird. Anstatt eine einzelne Reaktion zu generieren, durchläuft der Agent eine Abfolge von Entscheidungen und Tool-Aufrufen.
Ein vereinfachter Ablauf könnte wie folgt aussehen:
Grund → Den Datensatz verstehen
Handeln → Verfügbare Spalten abfragen
Beobachten → Verfügbare Merkmale prüfen
Grund → Metriken und Methodik auswählen
Handeln → Generieren Sie den Analysecode
Beobachten → Ergebnisse auswerten
Begründen → Die endgültige Antwort formatieren
Jeder Schritt in der Argumentation schafft eine weitere Möglichkeit für Abweichungen.
Eine kleine Änderung zu Beginn des Prozesses – wie beispielsweise die Auswahl anderer Kennzahlen oder die Zuweisung leicht abweichender Gewichtungen – kann jeden nachfolgenden Schritt beeinflussen. Der Agent kann unterschiedlichen Analysecode generieren, andere Filter anwenden oder Bewertungen anders berechnen, selbst wenn die ursprüngliche Abfrage und der Datensatz identisch bleiben.
Das folgende Diagramm veranschaulicht, wie eine einzige Schlussfolgerungsentscheidung den Agenten auf völlig unterschiedliche Ausführungswege lenken kann.
A small reasoning difference inside a ReAct loop can compound into different analytical methodologies, calculations, and final outputs across repeated agent runs.
Dieser kumulative Effekt stellt eine der zentralen Herausforderungen bei agentenbasierten Produktionssystemen dar. Je länger die Schlussfolgerungskette wird, desto größer ist die Wahrscheinlichkeit, dass die Ergebnisse von Lauf zu Lauf voneinander abweichen.
Um diese Schwankungen zu verringern, haben wir untersucht, ob Arbeitsabläufe die Teile des Systems einschränken könnten, die am stärksten für analytische Abweichungen verantwortlich sind.
Anstatt dem Agenten zu gestatten, bei jeder Abfrage eine neue Methodik zu entwickeln, bietet ein Workflow einen vordefinierten Ausführungspfad, der auf einem validierten „Golden Run“ basiert. Der Workflow bewahrt die analytische Struktur, die zu einem vertrauenswürdigen Ergebnis geführt hat, einschließlich:
ausgewählte Kennzahlen
Berechnungslogik
Schwellenwerte und Filter
Ausgabestruktur und Formatierung
Hinweis >> Den vollständigen Versuchsaufbau und den „Golden Run“ finden Sie im dazugehörigen GitHub-Repo.
Der Agent führt zwar weiterhin die Analyse durch und interagiert mit Live-Daten, doch die entscheidenden methodischen Entscheidungen werden nicht mehr bei jedem Durchlauf neu abgeleitet.
Ein vereinfachter Arbeitsschritt könnte etwa so aussehen:
SCHRITT 2: Aggregation der Leistungskennzahlen der Agenten
ZWECK: Berechnung der durchschnittlichen Leistungskennzahlen über alle Anrufe hinweg
MASSNAHME: Nach agent_id gruppieren und Durchschnittswerte berechnen
ERGEBNIS: Einheitlicher Bewertungsdatensatz für die Rangfolge
Das Ziel bestand nicht darin, die Agenten im herkömmlichen Sinne der Softwareentwicklung deterministisch zu gestalten. Vielmehr wollten wir prüfen, ob sich durch Workflows die Abweichungen in der Schlussfolgerung so weit reduzieren lassen, dass die Analyseergebnisse stabiler, reproduzierbarer und produktionsreif werden.
Um zu untersuchen, ob Workflows die Variabilität in analytischen Agentensystemen verringern könnten, haben wir eine Reihe kontrollierter Experimente mit realen Kundendaten durchgeführt.
Wir haben dieselben analytischen Abfragen wiederholt an einem Callcenter-Datensatz getestet, der Folgendes enthielt:
~3.900 Kundenkontakte
33 Supportmitarbeiter
20 extrahierte Leistungsmerkmale
Bei allen Experimenten wurde Claude Opus 4.5 über AWS Bedrock mit den Standard-Temperatureinstellungen verwendet.
Für jeden Testfall haben wir die Abfrage zunächst zehnmal unter Verwendung eines standardmäßigen agentenbasierten Ausführungsablaufs ausgeführt. Anschließend haben wir aus einem validierten „Golden Run“ einen Workflow erstellt und diesen Workflow weitere zehnmal für denselben Datensatz ausgeführt.
Das Ziel: zu ermitteln, wie stark sich die Ergebnisse zwischen den Durchläufen verändert haben und ob Workflows diese Abweichung verringern könnten.
Hinweis >> Den genauen Versuchsaufbau finden Sie im Anhang auf GitHub.
Unser erstes Experiment konzentrierte sich auf eine einfache analytische Abfrage:
„Wer sind meine 10 besten Vertriebsmitarbeiter, gemessen an den Gesamtleistungskennzahlen?“
Auf den ersten Blick scheint das ganz einfach zu sein. Doch der Agent muss noch einige analytische Entscheidungen treffen, bevor er eine Rangliste erstellen kann:
Welche Kennzahlen sind am wichtigsten?
Wie sollten diese Kennzahlen gewichtet werden?
Wie sollten die Punktzahlen normiert werden?
Welche Filter oder Schwellenwerte sollten gelten?
Ohne einen festgelegten Arbeitsablauf fielen diese Entscheidungen von Durchlauf zu Durchlauf unterschiedlich aus.
Bei zehn unabhängigen Ausführungen derselben Abfrage erzeugte der Agent wiederholt unterschiedliche Analyseansätze. Er änderte die Gewichtung der Kennzahlen, verwendete unterschiedliche Bewertungsskalen und variierte die Anzahl der Leistungsfaktoren, die in die Rangliste einflossen.
In einigen Durchläufen hatte die Kundenzufriedenheit das größte Gewicht. In anderen wurde die Lösungsquote zum entscheidenden Faktor. Bei einigen Durchläufen wurde eine Bewertungsskala von 0 bis 1 verwendet, während bei anderen auf eine Skala von 0 bis 100 umgestellt wurde.
Diese kleinen methodischen Änderungen führten zu unterschiedlichen Ergebnissen. In den 10 Durchläufen belegten jeweils drei verschiedene Vertreter den ersten Platz.
Repeated executions of the same AI ranking query produced different scoring methodologies, metric weights, and top-ranked representatives across 10 independent runs.
Die Schwankungen waren nicht auf sich ändernde Daten zurückzuführen. Die Verschiebung in der Rangfolge entstand dadurch, dass der Agent die Funktionsweise der Analyse selbst ständig neu interpretierte.
Um zu untersuchen, ob Workflows diese Abweichung verringern konnten, wiederholten wir das Experiment unter Verwendung eines Workflows, der aus einem validierten „Golden Run“ generiert wurde.
Ohne einen Workflow änderten sich die Ranglisten zwischen den einzelnen Durchläufen erheblich. Verschiedene Vertreter tauchten auf, verschwanden wieder oder verschoben sich zwischen den Durchläufen drastisch. Bei einigen Durchläufen wurden sogar weniger als 10 Ergebnisse zurückgegeben, da der Agent die Antwort anders formatierte.
Nachdem ein Workflow eingerichtet worden war, wurden die Ranglisten deutlich stabiler. Ein und derselbe Vertreter belegte bei jedem Workflow-Durchlauf den ersten Platz, ein anderer den zweiten Platz, und die gesamte Top-10-Liste blieb über alle Durchläufe hinweg identisch.
Nur geringfügige Unterschiede in der Reihenfolge führten zu einer niedrigeren Platzierung.
Workflow-constrained executions produced significantly more stable ranking results across repeated runs compared to fully dynamic agentic execution.
Die Verbesserungen hinsichtlich der Konsistenz waren bei allen von uns untersuchten Ranking-Kennzahlen messbar:
Die Top-1-Konsistenz verbesserte sich von 60 % auf 100 %
Die Überschneidungen in den Top 10 blieben über alle Workflow-Durchläufe hinweg völlig stabil
Die Ähnlichkeit der Rangfolge nahm zwischen den Ausführungsdurchläufen deutlich zu
Die Workflows reduzierten sowohl die Ranking-Abweichung als auch die methodische Abweichung. Auf zwei wichtige Auswirkungen (Korrektheit und Ausführungsgeschwindigkeit) werden wir im Abschnitt „Erkenntnisse“ noch einmal zurückkommen.
In unserem zweiten Experiment haben wir untersucht, wie empfindlich der Agent auf geringfügige Abweichungen in der Formulierung natürlicher Sprache reagierte.
Wir haben dieselbe Frage auf vier leicht unterschiedliche Arten gestellt:
„Wer sind meine 10 besten Vertriebsmitarbeiter?“
„Zeig mir die 10 leistungsstärksten Vertriebsmitarbeiter“
„Liste die 10 besten Vertreter nach Leistung auf“
„Welche Vertriebsmitarbeiter weisen die besten Kennzahlen auf?“
Jede Variante wurde mehrmals sowohl mit als auch ohne Workflows durchgeführt.
Ohne einen festgelegten Arbeitsablauf führten diese kleinen Formulierungsänderungen oft zu spürbar unterschiedlichen Analyseergebnissen. Begriffe wie „beste Mitarbeiter“, „leistungsstärkste“ und „beste Kennzahlen“ veranlassten die Agenten dazu, die Aufgabe unterschiedlich zu interpretieren. In einigen Durchläufen konzentrierte sich die Analyse stärker auf messbare KPIs wie die Lösungsquote, während in anderen Durchläufen die Stimmung oder eine umfassendere Gesamtbewertung im Vordergrund stand.
Menschen interpretieren diese Sätze im Allgemeinen als gleichbedeutend. Der Akteur tat dies jedoch nicht.
Durch die Aktivierung der Workflows verlor die Formulierung deutlich an Bedeutung, da die Ausführungsmethodik bereits festgelegt war. Anstatt die Analyse für jede Wortwahlvariante neu zu erstellen, verwendete das System denselben validierten Ausführungspfad erneut.
Die Ergebnisse zeigten messbare Verbesserungen sowohl hinsichtlich der Konsistenz als auch der Ausführungsstabilität.
Workflow-constrained executions produced more consistent analytical structures and response formats across different phrasings of the same query.
Durch Workflows wurden die Auswirkungen sprachlicher Mehrdeutigkeiten gemindert und das Verhalten des Systems bei semantisch ähnlichen Anfragen vorhersehbarer gestaltet.
Schwankungen in den Rankings lassen sich leicht erkennen. Eine Abweichung bei der Aggregation ist oft schwerer zu erkennen – in Produktionsberichtssystemen jedoch wesentlich gefährlicher.
Um zu testen, wie die Agenten mit komplexeren analytischen Aufgaben zurechtkamen, haben wir die folgende Abfrage wiederholt auf denselben Datensatz angewendet:
„Berechnen Sie den durchschnittlichen Stimmungswert, gruppiert nach call_reason_categoryund ermitteln Sie, welche Kategorien rückläufige Trends aufweisen.“
Im Gegensatz zu einer einfachen Ranking-Abfrage zwingt diese Art von Anfrage den Agenten dazu, während der Ausführung mehrere mehrschichtige analytische Entscheidungen zu treffen:
Wie sollten die Kategorien gruppiert werden?
Wie sollten Durchschnittswerte berechnet werden?
Wie sollte „rückläufig“ definiert werden?
Welche Filter oder Schwellenwerte sollten gelten?
Complex aggregation queries require agents to make multiple methodological decisions that can lead to inconsistent analytical outcomes across repeated runs.
Ohne Workflows wiesen diese Entscheidungen von Lauf zu Lauf deutliche Unterschiede auf. Bei einigen Durchläufen wurden unterschiedliche Zeitfenster für die Trendanalyse verwendet; bei anderen wurden die Kategorien anders gruppiert; manche filterten Kategorien mit geringem Volumen vollständig heraus, während andere sie einbezogen.
Infolgedessen könnte dieselbe Kategorie in einer Auswertung als „rückläufig“ und in einer anderen als „stabil“ erscheinen, obwohl sich an den Daten nichts geändert hat.
Diese Art von Schwankungen ist von Bedeutung, da Aggregationsabfragen das Herzstück operativer Berichtssysteme bilden. Dashboards, KPI-Überprüfungen, Compliance-Berichte und Zusammenfassungen für die Geschäftsleitung sind alle darauf angewiesen, dass Berechnungen über einen längeren Zeitraum hinweg konsistente Ergebnisse liefern.
Bei aktivierten Workflows blieb die Aggregationsmethodik über alle Ausführungen hinweg stabil. Die Gruppierungslogik, Trendberechnungen, Schwellenwerte und Filterregeln wurden aus der validierten Workflow-Definition übernommen, wodurch bei wiederholten Durchläufen reproduzierbare Ergebnisse erzielt wurden.
Workflows verringerten das Risiko einer analytischen Abweichung in Berichtszenarien, in denen Konsistenz nicht nur sinnvoll, sondern gesetzlich vorgeschrieben ist.
Unser abschließendes Experiment konzentrierte sich auf Suchanfragen mit bewusst mehrdeutigen oder widersprüchlichen Kriterien.
Wir haben den Makler gefragt:
„Finden Sie Vertriebsmitarbeiter mit Compliance-Risiken, die gleichzeitig eine hohe Kundenzufriedenheit aufweisen.“
Diese Art von Anfrage taucht in der operativen Analytik häufig auf. Teams müssen oft ungewöhnliche Kombinationen von Signalen identifizieren, beispielsweise Mitarbeiter, die sehr positives Kundenfeedback erhalten und gleichzeitig erhöhte Bedenken hinsichtlich der Compliance auslösen.
Die Herausforderung besteht darin, dass Begriffe wie „hohe Kundenzufriedenheit“ und „Compliance-Risiko“ in der Abfrage selbst nicht mathematisch definiert sind. Der Agent muss während der Ausführung entscheiden, was diese Schwellenwerte bedeuten.
Ohne Workflows änderten sich diese Definitionen von Lauf zu Lauf erheblich.
In einigen Fällen bedeutete „hohe Zufriedenheit“ Bewertungen über 4,5. In anderen Fällen lag der Schwellenwert näher bei 3,0. Auch die Definition des „Compliance-Risikos“ variierte je nachdem, wie der Mitarbeiter Eskalationen, Audit-Ergebnisse oder Richtlinienverstöße interpretierte.
Infolgedessen lieferte dieselbe Abfrage zwischen 5 und 16 Vertreter.
Ambiguous analytical criteria caused the AI agent to apply different thresholds across repeated runs, producing significantly different result counts from the same query and dataset.
Bei aktivierten Workflows wurden diese Schwellenwertentscheidungen aus der validierten Workflow-Definition beibehalten, was zu wesentlich stabileren Ergebnissen über alle Durchläufe hinweg führte.
Workflows improved consistency and result stability for ambiguous edge-case queries by preserving threshold definitions across repeated runs.
Selbst bei Workflows erwiesen sich Randfälle als schwieriger zu stabilisieren als die Ranking-Experimente weiter oben im Artikel. Mehrdeutige Geschäftssprache führt naturgemäß zu größeren Schwankungen als klar definierte analytische Aufgaben.
Dennoch konnten die Arbeitsabläufe die Schwellenwertdrift erheblich reduzieren und die Konsistenz in folgenden Bereichen verbessern:
Ergebnis zählt
repräsentative Überschneidung
Ausgangsstabilität
Dies ist wichtig für Betriebssysteme wie:
Anomalieerkennung
Audit-Berichterstattung
Compliance-Prüfungen
automatisierte Warnsysteme
In solchen Umgebungen können uneinheitliche Schwellenwerte zu falsch-positiven oder falsch-negativen Ergebnissen führen oder dazu, dass von einer Ausführung zur nächsten völlig unterschiedliche Sätze von markierten Ergebnissen entstehen.
In allen vier Experimenten änderte der Agent immer wieder die Art und Weise, wie er die Analyse durchführte. Jedes Mal, wenn er eine nicht eindeutig zu treffende Entscheidung treffen musste, sorgte er für Variabilität in den Ergebnissen.
Ohne festgelegte Arbeitsabläufe änderten die Mitarbeiter immer wieder ihre Vorgehensweise bei der Analyse selbst. Sie wählten unterschiedliche Kennzahlen aus, passten Schwellenwerte an, interpretierten Formulierungen unterschiedlich und änderten die Gruppierungs- oder Filterlogik von einem Durchlauf zum nächsten – selbst wenn sich die ursprüngliche Abfrage und der Datensatz nie geändert hatten.
Durch die Beibehaltung der Analysemethodik aus einem validierten „Golden Run“ konnten die Arbeitsabläufe diese Schwankungen reduzieren.
Die größte Ursache für Unstimmigkeiten war die Änderung der Analysemethodik im Hintergrund des Systems.
In allen Experimenten drifteten die Agenten wiederholt in Bereichen wie beispielsweise:
metrische Gewichtung
Schwellenwertdefinitionen
Gruppierungslogik
Filterregeln
Trendberechnungen
Bewertungsformeln
Jede noch so kleine Änderung in der Logik führte zu Folgeänderungen bei der Codegenerierung, den Berechnungen, den Ranglisten und den Ausgabedaten.
Die Arbeitsabläufe schränkten diese Entscheidungen ein, indem sie Folgendes beibehielten:
feste Kennzahlen
feste Schwellenwerte
feste Berechnungspfade
feste Ausführungsreihenfolge
Anstatt die Methodik bei jeder Ausführung neu zu erstellen, griff das System auf einen validierten Analyseprozess zurück.
Workflows stabilize AI analytical systems by preserving validated methodologies, thresholds, and calculations across repeated executions."Dadurch wurden sowohl die Abweichung der Schlussfolgerungen als auch die Abweichung der Ergebnisse bei wiederholten Durchläufen verringert.
Die Auswirkungen wurden deutlich. Nach der Aktivierung der Workflows konnten wir Folgendes beobachten:
stabilere Platzierungen
reproduzierbare Aggregationsergebnisse
Es kommt auf ein besser vorhersehbares Ergebnis an
weniger Formatierungsvarianten
eine einheitlichere analytische Struktur
Dies ist von Bedeutung, da Produktionssysteme darauf angewiesen sind, dass die Ergebnisse über einen längeren Zeitraum hinweg stabil bleiben. Dashboards, Qualitätssicherungssysteme, Compliance-Prüfungen und automatisierte Berichts-Pipelines gehen alle davon aus, dass dieselbe Abfrage derselben Daten im Wesentlichen ähnliche Ergebnisse liefern sollte.
Ohne diese Konsistenz lässt sich das Vertrauen in nachgelagerte Systeme nur schwer aufrechterhalten.
Die Experimente zeigten zudem, dass die Arbeitsabläufe am effektivsten waren, wenn die analytische Aufgabe selbst klar definiert war. Eindeutige Ranglisten- und Aggregationsaufgaben stabilisierten sich deutlich stärker als sehr mehrdeutige Abfragen zu Grenzfällen.
Eine der wichtigsten Erkenntnisse aus den Experimenten war, dass Konsistenz und Korrektheit nicht dasselbe sind.
Ein Arbeitsablauf kann eine Methodik, die statistisch unzureichend, in der praktischen Anwendung fehlerhaft oder verzerrt ist, zuverlässig beibehalten.
In einem Ranking-Experiment wies der durchweg an erster Stelle stehende Vertreter zudem eine der kleinsten Stichprobengrößen im Datensatz auf. Der Arbeitsablauf lieferte jedes Mal das gleiche Ergebnis, doch das machte die Schlussfolgerung nicht automatisch vertrauenswürdig.
Workflows dokumentieren analytische Entscheidungen. Sie prüfen jedoch nicht, ob diese Entscheidungen richtig sind.
Die Überprüfung durch Menschen spielt nach wie vor eine wichtige Rolle:
Die Auswahl der Kennzahlen muss sorgfältig geprüft werden
Schwellenwerte erfordern Fachwissen
Die Aggregationslogik muss überprüft werden
In Grenzfällen ist operatives Urteilsvermögen gefragt
Dies ist von Bedeutung, bevor Workflows in Produktionssysteme übernommen werden, die geschäftliche Entscheidungen oder Kundenergebnisse beeinflussen.
Das Ziel ist nicht einfach nur Reproduzierbarkeit. Das Ziel ist eine reproduzierbare und gut gesteuerte Analyse.
Die Ausführung der Workflows verlief in allen Experimenten durchweg schneller.
Ohne Workflows verbrachte der Mitarbeiter immer wieder Zeit damit:
Den Datensatz erkunden
Methoden überdenken
Berechnungen überarbeiten
analytische Ansätze erneut prüfen
Erzeugung alternativer Ausführungswege
Jeder zusätzliche Schritt in der Schlussfolgerungskette führte zu mehr LLM-Aufrufen, mehr Ausführungsaufwand und mehr Möglichkeiten für Abweichungen.
Durch Workflows entfiel ein Großteil dieses explorativen Denkprozesses. Der Ausführungsweg war bereits festgelegt, sodass sich das System auf die Durchführung der Analyse konzentrieren konnte, anstatt diese neu zu entwickeln.
Weniger analytische Umwege führten zu:
kürzere Ausführungswege
kürzere Reaktionszeiten
ein besser vorhersehbares Laufzeitverhalten
Die Leistungssteigerungen waren zwar nicht vollkommen deterministisch, doch der Trend blieb in allen Experimenten konsistent: Weniger analytische Umwege führten zu einer schnelleren und stabileren Ausführung.
Workflow-constrained executions completed faster and required fewer reasoning steps than fully dynamic agentic executions.
Die Experimente haben gezeigt, dass Workflows vor allem in Systemen von großem Nutzen sind, in denen Konsistenz wichtiger ist als Erkundung.
Workflows eignen sich besonders gut, wenn:
Berichte müssen reproduzierbar sein.
Die Ausgaben werden an nachgelagerte Systeme oder Dashboards weitergeleitet.
Die analytische Logik muss über die Zeit hinweg stabil bleiben.
Die Ergebnisse werden operativ überprüft oder später durch ein Audit geprüft.
Teams benötigen über mehrere Durchläufe hinweg einheitliche Ranglisten, Schwellenwerte oder Berechnungen.
Dies ist besonders wichtig für:
Betriebsberichterstattung
Compliance-Prüfungen
Qualitätssicherungssysteme
Anomalieerkennung
automatische Benachrichtigung
Kundenanalyseplattformen
In solchen Umgebungen ist Reproduzierbarkeit weitaus wichtiger als Kreativität.
Workflows sind jedoch nicht für jeden Anwendungsfall die richtige Lösung.
Dynamisches agentisches Schlussfolgern ist nach wie vor von Nutzen, wenn:
Erkundung unbekannter Datensätze
Hypothesen erarbeiten
alternative analytische Perspektiven entwickeln
mit Methoden experimentieren
Auf der Suche nach unerwarteten Mustern
In solchen Situationen kann Variabilität sogar von Nutzen sein, da sie dazu beiträgt, unterschiedliche Ansätze und Erkenntnisse zutage zu fördern.
Der entscheidende Kompromiss besteht zwischen Flexibilität und Konsistenz. Workflows schränken Teile des Denkprozesses bewusst ein, damit das analytische Verhalten im Laufe der Zeit vorhersehbarer wird.
KI-Agenten sind leistungsstark, weil sie dynamisch Schlussfolgerungen ziehen, sich an den Kontext anpassen und spontan analytische Ansätze entwickeln können. Diese Flexibilität bringt jedoch auch Variabilität mit sich.
In allen vier Experimenten zeigte sich dasselbe Muster: Wenn die analytische Methodik vollständig dynamisch belassen wurde, schwankten die Ergebnisse von Durchlauf zu Durchlauf – selbst wenn sich die Abfrage und die zugrunde liegenden Daten nie änderten.
Durch Workflows wurde diese Abweichung verringert, indem die für die Analyse entscheidenden Faktoren – darunter Kennzahlen, Schwellenwerte, Gruppierungslogik und Ausführungswege – beibehalten wurden.
Sie machen agentische Systeme nicht vollkommen deterministisch und garantieren auch keine Korrektheit. Die Überprüfung durch Menschen, die Validierung und Fachwissen sind nach wie vor von Bedeutung.
Wenn jedoch Konsistenz, Reproduzierbarkeit und Betriebssicherheit eine wichtige Rolle spielen, bieten Workflows eine praktische Möglichkeit, agentenbasierte Systeme in Produktionsumgebungen wesentlich vorhersehbarer zu machen.
Haben Sie eine Frage oder möchten Sie uns mitteilen, was Sie gerade bauen?
Beteiligen Sie sich am Gespräch auf dem Vonage Community Slack
Abonnieren Sie den Entwickler-Newsletter
Folgen Sie uns auf X (früher Twitter) für Updates
Sehen Sie sich die Tutorials auf unserem YouTube-Kanal
Verbinden Sie sich mit uns auf der Vonage Entwickler-Seite auf LinkedIn
Bleiben Sie auf dem Laufenden und halten Sie sich über die neuesten Nachrichten, Tipps und Veranstaltungen für Entwickler auf dem Laufenden.
Die in diesem Artikel beschriebenen Experimente wurden durch einen validierten „Golden-Run“-Workflow sowie durch Experimentkonfigurationen, Metrikdefinitionen und Implementierungsbeispiele unterstützt.
Für Leser, die sich näher mit der Methodik befassen möchten, haben wir die vollständigen Begleitmaterialien auf GitHub veröffentlicht:
Repository für die Erstellung vorhersehbarer, agentenbasierter Arbeitsabläufe
Das Repository enthält:
der vollständige „Golden Run“-Workflow in sieben Schritten,
Versuchsaufbauten,
metrische Definitionen,
Beispiele für die Validierung und die Behandlung von Randfällen,
sowie die in diesem Artikel verwendeten Abbildungen.