Die Architektur hinter parallelen Modellen
Um ein schnelles und konsistentes Bewertungserlebnis mit mehreren Modellen zu bieten, nutzt Nousaxis OpenRouter.
Warum OpenRouter?
Statt einzelne API-Gateways und Verbindungen zu verwalten, dient OpenRouter als einheitlicher Knotenpunkt, über den wir vier führende Modelle in Sekunden gleichzeitig abfragen können.
So funktioniert die Parallelverarbeitung
- Verteilung: Nutzereingaben werden in asynchrone Stream-Anfragen für verschiedene Modelle aufgeteilt.
- Unabhängige Streams: Die Latenz eines Modells blockiert niemals die anderen.
- Einheitlicher Kontext: Sobald eine Runde endet, werden die Antworten gesammelt und können in späteren Zügen wiederverwendet werden.