← Zurück zu den Notizen

TECHNISCHE NOTIZEN

Erst die Aufgabe, dann das Modell

Eine Zusammenfassung, eine strukturierte Klassifikation und eine schwierige technische Analyse stellen unterschiedliche Anforderungen. Wenn jeder Aufrufer denselben Modellnamen enthält, lassen sich diese Unterschiede schwerer berücksichtigen.

Die Absicht des Aufrufers sichtbar halten

In meinem Projekt LLM Gateway wählt der Aufrufer eine Aufgabe. Routing-Regeln ordnen ihr eine Reihenfolge von Modellen zu. Der Katalog kann sich mit der Modellverfügbarkeit ändern, während der Aufrufer weiter beschreibt, welche Arbeit er braucht.

Für manche Aufgaben kann die Regel Kosten und Geschwindigkeit priorisieren, für andere die Qualität komplexer Schlussfolgerungen. Das ist eine Gestaltungsentscheidung, keine allgemeingültige Rangliste. Die passende Regel muss weiterhin an der tatsächlichen Aufgabe geprüft werden.

Eine fehlgeschlagene Abfrage darf den letzten brauchbaren Stand nicht löschen

Wenn die Katalogabfrage fehlschlägt, sollte eine nützliche Konfiguration nicht durch eine leere ersetzt werden. Das Projekt behält den bisherigen Katalog bei, wenn die Abfrage scheitert oder keine Textmodelle liefert. Clients speichern außerdem die letzte erfolgreich geladene Konfiguration zwischen.

Dahinter steht die Trennung einer veränderlichen Abhängigkeit von einer stabilen Aufgabenbeschreibung. Dadurch können Anbieter wechseln, ohne dass Routing-Entscheidungen in jeder Anwendung verteilt werden.

Implementierungskontext: Quellcode und Entwurfsnotizen von LLM Gateway.

Mit KI-Unterstützung aus den öffentlichen Projektbeschreibungen für dieses Portfolio aufbereitet.