Paralel Model Yanıtlarının Mimarisi
Nousaxis olarak kullanıcılarımıza hızlı ve tutarlı çoklu model değerlendirme deneyimi sunmak için OpenRouter altyapısını kullanıyoruz.
Neden OpenRouter?
Geleneksel platformlarda aynı anda birden fazla modelden yanıt almak zorken, OpenRouter üzerinden dört büyük modeli saniyeler içinde paralel olarak sorgulayabiliyoruz.
Paralel İşleme Nasıl Çalışır?
- İstek Dağıtımı: Asenkron olarak farklı modellere stream istekleri açar.
- Bağımsız Akışlar: Bir modelin yavaşlığı diğer modeli bekletmez.
- Birleşik Bağlam: Tur bittiğinde tüm yanıtlar toplanıp bir sonraki turda tekrar kullanılabilir.