← Zurück zu den Notizen

TECHNISCHE NOTIZEN

Warum Streaming-Wiederholungen eine Grenze brauchen

Wenn ein KI-Anbieter nicht rechtzeitig antwortet oder keine Kapazität hat, kann ein anderer Anbieter die Anfrage übernehmen. Bei einer Streaming-Antwort ändert sich die Entscheidung: Ein Teil der Antwort steht vielleicht bereits auf dem Bildschirm.

Der erste sichtbare Text verändert die Situation

Vor dem ersten Ausgabestück ist ein fehlgeschlagener Versuch noch kein Teil der Antwort des Nutzers geworden. Das Routing kann zum nächsten Modell wechseln und eine zusammenhängende Antwort liefern.

Nach Beginn der Ausgabe kann ein stiller Wechsel zwei unabhängig erzeugte Antworten vermischen. Das zweite Modell weiß nicht automatisch, was das erste zugesagt, erklärt oder vorausgesetzt hat. Die Verbindung funktioniert wieder, aber die Antwort wird möglicherweise weniger verlässlich.

Eine kleine Regel mit einer nützlichen Folge

In meinem Projekt LLM Gateway ist ein Wechsel beim Streaming nur vor dem ersten Ausgabestück erlaubt. Danach muss ein Fehler für die aufrufende Anwendung sichtbar bleiben. Diese kann die Unterbrechung erklären oder eine ausdrückliche Wiederholung anbieten.

Das macht das Netzwerk nicht zuverlässiger. Es macht die Grenze einer Antwort nachvollziehbar. Verfügbarkeit ist wichtig. Ebenso wichtig ist zu wissen, welche Antwort tatsächlich beim Nutzer angekommen ist.

Was ich bei der Integration prüfen würde

  • Welche Fehler rechtfertigen einen neuen Versuch, welche deuten auf ungültige Zugangsdaten oder eine fehlerhafte Anfrage hin?
  • Hat die aufrufende Anwendung bereits Antwortinhalt erhalten?
  • Lässt sich der laufende Versuch sauber abbrechen?
  • Macht die Anwendung eine unterbrochene Antwort erkennbar?

Das sind Produktentscheidungen, die sich in der Fehlerbehandlung ausdrücken. Das Ziel sind nicht einfach weniger Fehlermeldungen, sondern ein Verhalten, das Nutzer und spätere Entwickler verstehen können.

Implementierungskontext: Routing-Regeln und öffentlicher Quellcode von LLM Gateway.

Mit KI-Unterstützung aus den öffentlichen Projektbeschreibungen für dieses Portfolio aufbereitet.