Keine Latenzschleifen: Wo Agentenschleifen in der Voice AI hingehören

Man könnte fast den Eindruck gewinnen, dass es jede Woche einen neuen KI-Workflow oder eine neue Best Practice gibt, die man unbedingt lernen muss. „Loop-Engineering“ ist einer der neuesten Begriffe, doch das Konzept an sich ist einfach.

Denken Sie mal darüber nach, eine Fusselrolle zu benutzen. Sie fahren einmal über Ihr Hemd, prüfen, ob die Fusseln weg sind, und hören entweder auf oder machen noch einmal weiter. Außerdem beschließen Sie, dass Sie nicht ewig da stehen und weiterrollen werden.

Eine Agentenschleife folgt dem gleichen Muster. Man weist dem Agenten eine Aufgabe zu, legt fest, wie der Erfolg gemessen wird, und automatisiert den Zyklus aus Handeln, Prüfen und Entscheiden, ob fortgefahren werden soll. Die Schleife endet, wenn das Ergebnis diese Prüfung besteht oder wenn das Zeit-, Kosten- oder Versuchslimit erreicht ist.

Das spielt insbesondere bei der Voice-KI eine Rolle. Ein Live-Gespräch erfordert Schnelligkeit, während die Auswertung und Verbesserung Zeit brauchen. Wie lässt sich beides in einem Design vereinen?

In diesem Artikel wird erläutert, wie man diese Grenze in einer Vonage-Voice-Agent-Architektur zieht und wo Agent-Loops sinnvoll sind – und wo nicht.

The voice agent responds quickly during the live call, while an offline loop reviews the interaction, verifies proposed changes, and improves future responses.

Why the Voice changes the design

Die Voice-Verzögerung ist die Zeit, die verstreicht, bis der Anrufer, nachdem er seinen Teil des Gesprächs beendet hat, die Antwort des Mitarbeiters hört.

Auf einer Website kann bei einer langsamen Aktion ein Lade-Symbol angezeigt oder ein Teil der Seite aktualisiert werden. Bei einem Telefonat wirkt eine Verzögerung wie Stille. Der Anrufer kann nicht vorblättern, zu einem anderen Tab wechseln oder sehen, dass das System noch arbeitet. Selbst eine kurze Pause kann den Eindruck von Verwirrung, einer unterbrochenen Verbindung oder einer fehlgeschlagenen Anfrage erwecken.

Die Verzögerung baut sich zudem schrittweise auf. Das System muss möglicherweise:

1. Die Sprache des Anrufers verstehen.

2. Finden Sie heraus, was sie brauchen.

3. Rufen Sie alle erforderlichen externen Systeme auf.

4. Eine gesprochene Antwort generieren und zurückgeben.

Ein langsamer Tool-Aufruf, ein erneuter Modellversuch oder eine verzögerte Text-zu-Sprache-Antwort wirken sich auf alles aus, was danach folgt.

Durch Schleifen lässt sich die Verzögerung schwerer abschätzen. Das System kann möglicherweise nicht im Voraus erkennen, ob ein Durchlauf, drei Durchläufe oder mehrere Werkzeugaufrufe erforderlich sind, bevor das Ergebnis Verify werden kann.

Das führt zu der zentralen Frage beim Design:

Was muss geschehen, während der Anrufer in der Warteschleife ist, und was kann später geschehen?

Zeichne die Latenzlinie

Die Lösung besteht darin, den Voice-Agenten als zwei Teile zu betrachten, die mit unterschiedlichen Taktraten laufen.

Der Live-Workflow bearbeitet das aktuelle Gespräch. Er empfängt die Audioübertragung des Anrufers, versteht die Anfrage, ruft bei Bedarf ein zugelassenes Tool auf und gibt eine gesprochene Antwort zurück. Jeder zusätzliche Schritt verursacht eine Verzögerung, daher sollte dieser Ablauf leicht zu erklären sein und sich vorhersehbar verhalten.

Die Offline-Schleife beginnt nach dem Anruf. Dabei können Beweismittel überprüft, Fehlschläge nachgestellt, das Wissen mit einem Quellsystem abgeglichen und eine Änderung vorgeschlagen werden. Während dieser Arbeit muss niemand auf Funkstille warten.

The live workflow handles the caller’s request with bounded steps and tested fallbacks, while the offline workflow evaluates results and improves future calls.Den Live-Pfad begrenzt halten

Ein sinnvoller Live-Workflow versucht nicht, alle Probleme zu lösen. Er führt die sicherste und sinnvollste Aktion innerhalb des Zeitrahmens des Aufrufers aus.

Drei Strategien tragen dazu bei, diesen Weg vorhersehbar zu halten:

• Schränken Sie die Arbeit ein. Gewähren Sie dem Agenten nur Zugriff auf die für die aktuelle Aufgabe erforderlichen Werkzeuge und begrenzen Sie, wie oft er diese aufrufen darf. Bevorzugen Sie eine einzige, klar definierte Abfrage gegenüber einer unbegrenzten Kette von Suchvorgängen. Behandeln Sie Lese- und Schreibvorgänge unterschiedlich: Lesevorgänge können in der Regel mit einer Zeitüberschreitung enden und auf einen Fallback zurückgreifen, während Schreibvorgänge die Absicht des Aufrufers bestätigen sollten und blinde Wiederholungsversuche vermeiden sollten, wenn der endgültige Zustand unklar ist.

• Legen Sie feste Fristen fest. Legen Sie Zeitlimits für einzelne Tool-Aufrufe und die gesamte Gesprächsrunde fest. Erlauben Sie bei vorübergehenden Ausfällen nur vordefinierte Wiederholungsversuche und protokollieren Sie Transkription, Modell, Tool und Sprechzeit separat, damit Sie den tatsächlichen Engpass identifizieren können.

• Schreiben Sie die Ausweichlösung vor dem Start. Falls eine Abhängigkeit langsam ist oder fehlschlägt, verwenden Sie eine getestete Antwort, die die Wahrheit sagt und dem Aufrufer einen nächsten Schritt vorschlägt, anstatt das Modell zu bitten, zu improvisieren. Zum Beispiel: „Ich kann dieses Update derzeit nicht abrufen. Ich kann Sie mit dem Support verbinden oder Ihnen eine Folge-Nachricht senden.“

Diese Regeln variieren je nach Aufgabe. Die Abfrage des Auftragsstatus ist ein Lesevorgang, daher kann der Agent eine Abfrage durchführen und bei einer Zeitüberschreitung auf einen Fallback zurückgreifen. Eine Terminänderung ist ein Schreibvorgang, daher sollte der Agent die Anfrage bestätigen und keinen Erfolg melden, wenn der endgültige Status unklar ist. Eine Abrechnungsstreitigkeit lässt sich möglicherweise besser bearbeiten, indem die relevanten Details erfasst und das Problem an einen Mitarbeiter weitergeleitet wird.

Das Ziel ist nicht maximale Autonomie. Es geht darum, die sicherste sinnvolle Aktion auszuwählen, die das System innerhalb des Zeitbudgets des Aufrufers ausführen kann.

Beweismaterial in Offline-Schleifen einspeisen

Sobald das Gespräch beendet ist, werden die strengen Latenzgrenzen gelockert. Eine Offline-Schleife kann die Unterlagen prüfen, ohne den Anrufer warten zu lassen, sollte jedoch zu konkreten Maßnahmen führen und nicht nur eine Zusammenfassung des Gesprächs liefern.

Vonage bietet Entwicklern verschiedene Möglichkeiten, diese Nachweise zu erfassen. Eine WebSocket-Verbindung kann Audiodaten in Echtzeit zwischen der Voice API und dem Agenten übertragen. Der Antwort-Webhook gibt den NCCO zurück, der den Anruf steuert, während der Ereignis-Webhook empfängt Status- und Lebenszyklus-Updates. Wenn eine Aufzeichnung angebracht ist, löst der NCCO Aufzeichnungsaktion Audio aufzeichnen und die Metadaten der Aufzeichnung an eine Ereignis-URL senden.

Diese Eingaben können mehrere nützliche Schleifen unterstützen:

• Regressionsschleife. Wiederholen Sie die Überprüfung der festgestellten Fehler anhand der nächsten Änderung an der Eingabeaufforderung, am Modell, am Wissen oder am Routing. Die Schleife sollte ein eindeutiges Ergebnis („bestanden“ oder „nicht bestanden“) liefern und Regressionen verhindern, bevor Änderungen mit größeren Auswirkungen veröffentlicht werden.

• Frische-Schleife. Vergleichen Sie Antworten oder Wissenseinträge mit ihrer Referenzquelle. Sollten die Informationen nicht mehr aktuell sein, erstellen Sie einen Aktualisierungsvorschlag zur Überprüfung, anstatt die Produktionsumgebung automatisch zu ändern.

• Übergabeschleife. Überprüfen Sie Weiterleitungen und fehlgeschlagene Anrufe, um fehlende Erfassungsfragen, Pflichtfelder, Änderungen bei der Weiterleitung oder Aufgaben zu identifizieren, die immer an eine Person weitergeleitet werden sollten. Das Ergebnis sollte ein konkreter Vorschlag für die nächste Version des Systems sein.

Anrufaufzeichnungen können das System verbessern, enthalten jedoch möglicherweise personenbezogene oder sensible Informationen. Speichern Sie nur das, was für den Überprüfungsprozess erforderlich ist, schwärzen Sie sensible Daten, legen Sie eine Aufbewahrungsfrist fest, beschränken Sie den Zugriff und nutzen Sie das Live-Sprach-zu-Text-Transkript Transkript , wenn dies angemessen ist.

Entscheiden Sie, wo die Arbeit hingehört

Use a live workflow when the caller is waiting, an agent loop when the work can wait and be verified, and human review when success cannot be checked reliably.Wenn der Aufrufer wartet, verwenden Sie einen begrenzten Workflow. Begrenzen Sie die Tool-Aufrufe, legen Sie das Timeout fest und schreiben Sie den Fallback vor dem Start.

Wenn die Arbeit warten kann und das Ergebnis überprüft werden kann, verwenden Sie eine Schleife. Speichern Sie die Nachweise, Verify die Ausgabe unabhängig und verlangen Sie eine Genehmigung, bevor Änderungen mit erheblichen Auswirkungen veröffentlicht werden.

Wenn niemand definieren kann, wie Erfolg aussieht, sollten Sie die Aufgabe nicht in einen autonomen Kreislauf zwingen. Halten Sie den Arbeitsablauf fest oder bestimmen Sie eine verantwortliche Person.

Die entscheidende Frage ist nicht, ob eine Aufgabe automatisiert werden kann. Die Frage ist vielmehr, ob das System erkennen kann, wann die Aufgabe korrekt ausgeführt wurde.

Fazit: Eine Regel, die man sich merken sollte

Die Latenz nicht in eine Schleife einbinden.

Der für den Anrufer sichtbare Arbeitsablauf sollte zügig abgeschlossen werden. Die Erkenntnisse aus diesem Anruf sollten in einen langsameren Kreislauf einfließen, in dem zukünftiges Verhalten ausgewertet, Verified und verbessert werden kann.

Durch diese Trennung profitieren Sie in zweierlei Hinsicht: zum einen von einem reaktionsschnellen Erlebnis für den Anrufer und zum anderen von einem System, das mit der Zeit immer zuverlässiger wird.

Über Vince DiPaola

Vince DiPaola leitet teamvince, ein Studio für KI-Implementierung und Produktentwicklung in Brooklyn. Er entwickelt praxisorientierte Agentensysteme und zeigt Teams, wie sie sich wiederholende Aufgaben in zuverlässige KI-Workflows umwandeln können.