Model Router Gateway: pro Schritt das kleinste Modell
Ein Gateway, das jede Aufgabe an das günstigste Modell routet, das Ihren Eval besteht — Frontier nur für den harten Schritt. Demo-Referenzarchitektur.
- Branche
- Branchenübergreifend · KI-Betrieb
- Aufbau, geschätzt
- 3–5 Wochen
Auf einen Blick
- Es beginnt mit
- Aufgabe kommt rein
- Die Maschine übernimmt
- 8 von 8 Schritten
- Beim Menschen bleibt
- Nichts — der Ablauf läuft durch
- Unterm Strich
- kleinstes Modelldas den Test besteht
Das Problem
Die meisten Automatisierungen schicken jeden Schritt an dasselbe teure Großmodell — auch das simple „ist das eine Rechnung? ja/nein". Das ist ein LKW für den Brötchenholdienst.
Diese Demo zeigt das Gegenteil: ein Gateway, das pro Schritt entscheidet, welches Modell reicht — und die Frontier nur dann ruft, wenn die Aufgabe sie wirklich braucht.
Die Branche verschiebt sich von „mehr Parameter" zu „Intelligenz pro Euro". Ein 7B-SLM ist grob 10–30× günstiger als ein 70–175B-Modell (NVIDIA, 2025) und reicht für die repetitiven Routine-Aufgaben, die Agenten zum Großteil ausmachen — klassifizieren, extrahieren, routen, formatieren. Gleichzeitig fällt der Preis für ein festes Fähigkeitsniveau dramatisch (LLMflation: grob 10×/Jahr).
Nur: Die meisten Mittelständler nutzen das nicht. Sie haben (a) ein Modell fest verdrahtet — Lock-in, kein Wechsel wenn Preise fallen, (b) keinen Eval, um zu wissen, ob ein kleineres Modell reicht, und (c) keine Sicht auf die Kosten pro Schritt. Ergebnis: Sie zahlen Frontier-Preise für SLM-Arbeit.
Ehrliche Grenze: Für harte, breite Aufgaben (offenes Reasoning) bleibt das große Modell überlegen — Inference-Compute substituiert Parameter nur teilweise. Das Routing muss diese Grenze respektieren, nicht ignorieren.
Der Ablauf, Schritt für Schritt
Scrollen Sie durch. Das Diagramm bleibt stehen und markiert den Schritt, bei dem Sie gerade sind.
- 01
Aufgabe kommt rein
Schritt im Workflow
Ein Schritt in Ihrem Workflow braucht ein Modell — klassifizieren, extrahieren, zusammenfassen oder eine schwierige Synthese. Statt blind das Großmodell zu rufen, geht die Aufgabe an den Router.
- 02
Klassifizieren & Eval
Typ · Schwierigkeit
Der Router bestimmt Typ und Schwierigkeit der Aufgabe und prüft sie gegen den hinterlegten Eval — den kleinen, ehrlichen Test pro Aufgabentyp.
- 03
Modell-Router
OpenRouter · LiteLLM
Das modell-agnostische Gateway (OpenRouter / LiteLLM) abstrahiert über 400+ Modelle. Der Anbieter ist Konfiguration, kein fest verdrahteter Code — Sie wechseln, wenn Preise fallen.
- 04Verzweigung
SLM reicht?
Die Entscheidung: Reicht ein kleines Modell (SLM) für diese Aufgabe — besteht es den Eval — oder braucht es die Frontier?
- 05
SLM ausführen
günstig · schnell
Routine-Aufgaben (der Großteil) laufen auf einem günstigen, schnellen SLM. Grob 10–30× billiger als ein Großmodell und für klassifizieren, extrahieren, routen völlig ausreichend.
- 06
Frontier-Modell
Eskalation · harte Aufgabe
Nur die nachweislich harten Fälle eskalieren auf ein Frontier-Modell. Den Spitzenpreis zahlen Sie gezielt — nicht pauschal für jeden Aufruf.
- 07
Kosten & Eval loggen
pro Schritt
Jeder Aufruf wird mit Modell, Kosten und Eval-Ergebnis geloggt. Sie sehen Ausgaben pro Schritt, pro Modell, pro Tag — keine Überraschung auf der Monatsrechnung.
- 08
Ergebnis + Kostensicht
zurück in den Workflow
Das Ergebnis geht zurück in den Workflow — erzeugt vom kleinsten Modell, das die Aufgabe besteht, bei voller Kostensicht.
Was sich ändert
Möglicher Aufbau, kein fertiges Produkt
Die Zahlen sind modellierte Zielwerte für einen möglichen Aufbau, abgeleitet aus Branchenwerten und eigenen Tests. Sie stammen nicht aus einem Kundenprojekt, echte Werte hängen von Ihrem Betrieb ab. Wir verkaufen diesen Aufbau nicht als fertiges Produkt: Wir messen, wo Ihr Engpass liegt, und bauen dann mit Ihrem Team. Für zertifizierungspflichtige Systeme (etwa KIS, gematik, DATEV-zertifiziert) arbeiten wir mit spezialisierten Partnern.
Vorher vs. Nachher
| Aspekt | Vorher | Nachher |
|---|---|---|
| Modellwahl | Vorher: ein Großmodell für alles | Nachher: pro Schritt passend geroutet |
| Routine-Aufgaben | Vorher: Frontier-Preis | Nachher: SLM-Preis |
| Harte Aufgaben | Vorher: gleiches Modell wie Routine | Nachher: gezielte Frontier-Eskalation |
| Anbieterwechsel | Vorher: Code-Umbau | Nachher: Konfiguration |
| Kostensicht | Vorher: Sammelrechnung am Monatsende | Nachher: Kosten pro Schritt live |
Technik
Technologie-Stack
Integrationen
Systeme, an die dieser Aufbau anschließen kann
- n8n (self-hosted)Orchestrierung
- Zentrale Engine: Klassifikation, Routing-Regeln, Eskalation und Logging
- OpenRouter / LiteLLMModell-Abstraktion
- Eine API über 400+ Modelle; Anbieterwechsel per Konfiguration
- SLM + Frontier-ModelleInferenz
- Kleine Modelle für Routine, Frontier auf Abruf für harte Aufgaben
- Eval-SuiteQualitätskontrolle
- Aufgabenspezifische Tests entscheiden, welches Modell durchgereicht wird
- PostgreSQLKosten-/Eval-Log
- Protokoll aller Aufrufe mit Modell, Kosten und Testergebnis
- GrafanaKosten-Dashboard
- Ausgaben pro Schritt, Modell und Tag — live sichtbar
Sicherheit & Compliance
Worauf der Aufbau achtet
- Datensouveränität durch Self-Hosting
- Gateway, Evals und Logs laufen self-hosted. Mit LiteLLM bleibt sogar die Modell-Abstraktion im eigenen Haus — kein Zwang, Prompts über einen fremden Router zu schicken.
- Kein Lock-in by Design
- Modelle und Anbieter liegen hinter einer Abstraktion und sind per Konfiguration austauschbar. Der teuerste Lock-in ist der, den man sich in den Code schreibt — den vermeidet dieses Setup bewusst.
- Kosten- & Eval-Log auditierbar
- Jeder Aufruf wird mit Modell, Kosten und Eval-Ergebnis protokolliert — nachvollziehbar, welches Modell welche Aufgabe mit welchem Resultat bearbeitet hat.
- Kein Qualitätsversprechen ohne Evals
- Das Routing ist nur so gut wie die hinterlegten Tests. Ehrlich gerahmt: Die Evals sind der Kern — ohne sie ist „kleineres Modell" ein Glücksspiel, mit ihnen eine Messung.
Häufige Fragen
Wie sähe das bei Ihnen aus?
Dieser Ablauf ist eine Demo. Ob er sich bei Ihnen lohnt, hängt davon ab, wo es bei Ihnen hakt. Wie man das herausfindet, zeigt die Methode. Einen eigenen Ablauf einordnen können Sie im Selbst-Check, kostenlos und ohne Gespräch.