並列モデルを支えるアーキテクチャ
高速で一貫性のあるマルチモデル評価体験を提供するため、Nousaxis は OpenRouter を利用しています。
なぜ OpenRouter なのか
個別の API ゲートウェイや接続を管理する代わりに、OpenRouter は統合ハブとして機能し、主要な4モデルへ数秒で同時に問い合わせることを可能にします。
並列処理の仕組み
- 振り分け：利用者のプロンプトは、モデルごとの非同期ストリームリクエストに分割されます。
- 独立したストリーム：あるモデルの遅延が他のモデルを妨げることはありません。
- 統合されたコンテキスト：ラウンドが終わると回答が集約され、以降のターンで再利用できます。