A1Çıplak tek model
Her model tek başına, hiçbir sistem eklentisi olmadan çağrıldı — modele doğrudan sorduğunuzda aldığınız şey. Referans taban.
Dört yapay zekâ modeli aynı soruyu birlikte yanıtladığında gerçekte ne değişiyor — iddia değil, ölçüm.
Tek bir modele soru sorduğunuzda tek bir cevap ve tek bir özgüven tonu alırsınız. Cevap yanlış olduğunda bunu size söyleyen hiçbir şey yoktur — model yanılırken de doğru bilirken kullandığı dili kullanır. Elinizde tartamadığınız bir iddia kalır.
Nousaxis bu tek sesliliği kırar. Dört model aynı soruyu sırayla yanıtlar; her biri kendinden öncekilerin ne dediğini görür ve açıkça katılabilir, düzeltebilir ya da itiraz edebilir. Kullanıcı dördünü birden okur. Bu sayfa, bu mimarinin gerçekte ne kazandırdığını — ve neye mal olduğunu — ölçüyor.
Konuşma sırası her soruda rastgele belirlenir; hiçbir model kalıcı avantaj taşımaz. Kullanıcıya tek bir kazanan değil dört cevabın tamamı gider — anlaşmazlık çözülüp yok edilmez, görünür kalır.
Bütün koşullar aynı soruları yanıtladı; dolayısıyla karşılaştırmaların hepsi birebir. Her koşul bir öncekine göre tam olarak tek bir şeyi değiştirir — sistemin hangi parçasının işi yaptığını ancak böyle ayırt edebiliyoruz.
Her model tek başına, hiçbir sistem eklentisi olmadan çağrıldı — modele doğrudan sorduğunuzda aldığınız şey. Referans taban.
Tek model, üstüne "bilmiyorsan tahmin etme, bilmediğini söyle" talimatı. Tek bir talimatın tek başına ne yapabildiğini ayırt eder.
Dört model paralel yanıtlar, birbirini görmez. Kontrol koşulu — birbirini okumanın gerçekten fark yaratıp yaratmadığını bize bu söylüyor.
Her model önceki cevapları görür ve onlara yanıt verir. Üretimde çalışan sohbet modu bu — okunacak satır burasıdır.
Görmeden çalışan panel, artı tek kazananı seçen bir hakem, artı doğrulayıcı geçişi. Sohbet modunda karşılığı olmayan bir eğlence yüzeyi; orada seçimi kullanıcı yapar.
Bugünün dil modelleri soruyu soran kişiyi memnun etmeye ayarlı. Bir şeyi bilmediklerinde bunu söylemek yerine akla yatkın görünen bir cevap üretmeye eğilimliler — çünkü tatmin edici görünen bir cevap, dürüst bir boşluktan daha çok beğeni topluyor. Ölçüm bunu açıkça gösteriyor: tek başına çalışan bir model, sorduğumuz 250 spesifik olgunun %58,4'ünde bilmediği hâlde emin bir dille yanlış cevap verdi. Sıralı panel aynı sorularda bu oranı %16,4'e indiriyor.
Çekimserlik baştan sona ayrı sayılır. Koşulların çekimserlik oranları birbirinden çok farklı olduğu için doğruluk, yanında çekimserlik rakamları olmadan hiçbir yerde gösterilmez.
Bilinçli olarak çok spesifik olgular. Giriş seviyesi modeller bunları çoğunlukla bilmiyor; çıplak tabanın bu kadar kötü olmasının ve panel koşullarında çekimserliğin baskın çıkmasının sebebi bu.
| Koşul | Halüsinasyon % (%95 GA) | Doğru % | Doğru / Halüsinasyon / Çekimser | Notlanan cevap |
|---|---|---|---|---|
| A1 · Çıplak tek model | 58.4[55.3–61.4] | 17.0[14.8–19.5] | 170 / 584 / 246 | 1000 |
| A2 · Tek model + kural | 22.6[20.1–25.3] | 6.3[5.0–8.0] | 63 / 226 / 710 | 1000 |
| A3 · Panel, görmeden | 29.2[26.5–32.1] | 7.3[5.8–9.1] | 73 / 292 / 635 | 1000 |
| A4 · Sıralı panel · canlı | 16.4[14.2–18.8] | 5.2[4.0–6.8] | 52 / 164 / 784 | 1000 |
| A5 · Battle modu | 13.6[9.9–18.4] | 5.6[3.4–9.2] | 14 / 34 / 202 | 250 |
Popüler cevabın yanlış olduğu sorular. Modeller burada neredeyse hiç çekimser kalmıyor; dolayısıyla bu set hafızayı değil muhakemeyi ölçüyor.
| Koşul | Halüsinasyon % (%95 GA) | Doğru % | Doğru / Halüsinasyon / Çekimser | Notlanan cevap |
|---|---|---|---|---|
| A1 · Çıplak tek model | 27.0[22.9–31.6] | 72.3[67.7–76.4] | 289 / 108 / 3 | 400 |
| A2 · Tek model + kural | 19.0[15.5–23.1] | 73.5[69.0–77.6] | 294 / 76 / 30 | 400 |
| A3 · Panel, görmeden | 23.5[19.6–27.9] | 70.0[65.3–74.3] | 280 / 94 / 26 | 400 |
| A4 · Sıralı panel · canlı | 17.8[14.3–21.8] | 75.5[71.1–79.5] | 302 / 71 / 27 | 400 |
| A5 · Battle modu | 14.0[8.5–22.1] | 75.0[65.7–82.5] | 75 / 14 / 11 | 100 |
A1–A4 dört modeli tek tek notlar, bu yüzden sayıları soru adedinin dört katıdır. A5 (battle) soru başına tek cevap üretir.
Sohbet modunda kullanıcı dört cevabı da görür; dolayısıyla dürüst rakam "dördün en iyisi" değildir — ekranda en az bir halüsinasyonun bulunma sıklığıdır. Modellerin birbirini okumasına izin vermek bunu iki veri setinde de kabaca yarıya indiriyor.
Sonra konuşan modeller daha çoğunu görüyor ve ölçülebilir biçimde daha az yanılıyor. TruthfulQA'da üstelik daha da doğrular: dördüncü konuşan %84,0 oranında doğru, ilk konuşan %67,0 — aynı anda halüsinasyon oranı %26,0'dan %11,0'a iniyor. Çapraz sorgulama burada gerçek iş yapıyor.
Her modeli kendisiyle eşleştirdik: aynı model aynı soruya bir kez tek başına, bir kez panelin içinde cevap verdi. Böylece iki yönü birden sayabiliyoruz — panel bir halüsinasyonu ne sıklıkta engelliyor, ne sıklıkta kendisi sebep oluyor.
SimpleQA — 250 spesifik olgu sorusu (modellerin çoğunlukla bilmediği) · TruthfulQA — 100 tuzak soru (popüler cevabın yanlış olduğu)
| Veri seti | Engelledi | Sebep oldu | Net | McNemar |
|---|---|---|---|---|
| SimpleQA | 449 | 29 | +420 | p<0,001 |
| TruthfulQA | 64 | 27 | +37 | p<0,001 |
Doğruluk tarafında bir bedel var ve veri setine bağlı. TruthfulQA'da panel biraz daha doğru (+13, istatistiksel olarak anlamlı değil). SimpleQA'da belirgin biçimde daha az doğru cevap üretiyor (−118, p<0,001); çekimserlik %24,6'dan %78,4'e çıkıyor — modellerin zaten hiç bilmediği spesifik olgular, artık uydurulmak yerine dürüstçe yanıtlanıyor.
Bizi en çok şaşırtan bulgu bu. Çıplak tek modeller malzemeye göre muazzam salınıyor: SimpleQA'da %58,4 halüsinasyon, TruthfulQA'da %27,0. Sıralı panel ise %16,4 ve %17,8'de duruyor — güven aralıkları örtüşüyor, üstelik birbirine bu kadar benzemeyen iki veri setinde. Sorunuza hangi modelin uyduğunu tahmin etmek zorunda kalmıyorsunuz.
Aşağıdaki her ifade yukarıdaki tablolarda bir satırdır. Hiçbiri çıkarım, projeksiyon ya da küçük örneklemden ölçeklendirme değildir.
Ekranda en az bir halüsinasyonun bulunduğu soruların oranı; görmeden panele karşı sıralı panel. TruthfulQA'da %53,0 → %35,0.
Panelin engellediği halüsinasyonlardan, sebep olduklarının çıkarılmış hâli. İki veri setinde de istatistiksel olarak sağlam (p<0,001) — tek bir testin tesadüfü değil.
TruthfulQA'da konuşma sırasına göre doğruluk. Her model kendinden öncekileri okuyor ve sıra ilerledikçe cevaplar iyileşiyor.
Sıralı panel, tek modellerin %27,0 ile %58,4 arasında gezindiği iki çok farklı veri setinde aynı davranıyor.
Bir de istatistiksel değil mimari olan bir özellik var: dört model anlaşamadığında, anlaşmazlığı görürsünüz. Tek bir model size zeminin kaygan olduğunu söyleyemez, çünkü bunu kendisi de bilmez. Birbirini açıkça okuyan dört model ise zeminin tam olarak nerede yumuşadığını gösterir.
Tek başına doğru cevap verecek olan bir model, kendinden önce konuşan modelin hatasını benimseyebiliyor. Bunun gerçek mi yoksa rastgele bir dalgalanma mı olduğunu anlamak için bir kontrol grubuyla karşılaştırdık: önceki konuşanlar temizken aynı bozulma ne sıklıkta oluyor?
Etki gerçek ama küçük: panel toplamda hatayı belirgin biçimde azaltıyor, buna karşılık bu özel kanalı da açıyor. Yayınlıyoruz, çünkü bu mimarinin bedeli ve sistemi değerlendirecek olan bunu bilmeli.
| Veri seti | Çift notlanan | Çelişki | Cohen κ | Ham uyum |
|---|---|---|---|---|
| SimpleQA | 4249 | 95 | 0,958 | 97,8% |
| TruthfulQA | 1700 | 214 | 0,664 | 87,4% |