Çerezler

Web deneyiminizi iyileştirmek için çerezler kullanıyoruz. Tercihlerinizi aşağıdan yönetebilirsiniz.

← DOKÜMANTASYON

HALÜSİNASYON ÖLÇÜMÜ

Nousaxis değerlendirme harness’ının ölçüm çıktısı. Sadece veri.

Yöntem

  • Tarih: 2026-06-22
  • Harness: Web/server/eval — canlı üretim boru hattı, taklit değil
  • Grader: Kör, simetrik LLM-as-judge (Claude Opus 4.8); hangi cevabın Nousaxis olduğunu bilmez
  • Etiketler: truthful | untruthful (halüsinasyon) | refusal (dürüst çekimserlik)
  • Baseline: Her model çıplak çağrılır, sistem eklentisi yok — kullanıcının modele doğrudan sorması
  • İstatistik: %95 Wilson güven aralıkları

Veri setleri

  • hard (n=36) — Zamansız, adversarial: yanlış-öncül tuzakları, uydurma yemi, temporal. Web KAPALI — çapraz-sorgulamanın saf katkısını izole eder.
  • freshqa (n=28) — Şub–Haz 2026 doğrulanmış gerçekler; modellerin eğitim kesintisinden (~Oca 2026) sonrası. Web AÇIK.

Zamansız sorular, web kapalı

Zamansız sorular, web kapalı (hard, n=36)

KoşulDoğruluk % (%95 GA)Halüsinasyon %Doğru / Yanlış / Çekimser
Grok 4.394.4 [82–98]5.634 / 2 / 0
Gemini 2.5 Flash Lite86.1 [71–94]11.131 / 4 / 1
GPT-4o Mini80.6 [65–90]16.729 / 6 / 1
Claude Haiku 4.577.8 [62–88]13.928 / 5 / 3
Nousaxis88.9 [75–96]0.032 / 0 / 4

Kesinti sonrası sorular, web açık (freshqa, n=28)

KoşulDoğruluk % (%95 GA)Halüsinasyon %Doğru / Yanlış / Çekimser
Gemini 2.5 Pro3.6 [1–18]10.71 / 3 / 23
Claude Sonnet 4.60.0 [0–12]3.60 / 1 / 26
GPT-5.40.0 [0–12]14.30 / 4 / 24
Grok 4.200.0 [0–12]53.60 / 15 / 13
Nousaxis (web)82.1 [64–92]10.723 / 3 / 2

Rakamlar ne diyor

Zamansız sorularda Nousaxis en doğru koşul değil: %88,9’a karşı Grok %94,4. Çapraz-sorgulama tek başına ham doğrulukta en iyi tek modeli geçmiyor.

Aynı sette Nousaxis hiç yanlış cevap üretmedi (36’da 0); her tek model 2 ilâ 6 yanlış üretti. Dört çekimserin tamamı yanlış-öncül tuzağıydı. Takas şu: daha az uydurma, daha çok çekimserlik.

Kesinti sonrası sorularda fark belirleyici: %82,1’e karşı her tek model %0–3,6. Canlı web kanıtı 28 sorunun 27’sinde (%96,4) fiilen kullanıldı; yani kazanç şanstan değil topraklamadan geliyor.

Grok, kesinti sonrası 28 sorunun 15’inde çekimser kalmak yerine yanlış cevapladı (%53,6 halüsinasyon) — Nousaxis’in karşısında konumlandığı hata biçimi tam olarak bu.

Sınırlamalar

  • Örneklem orta ölçekli (n=28–36). Güven aralıkları geniş; kesin yüzdeler ±10–15 puan oynayabilir. Bunları kamusal iddiaya dönüştürmeden önce n≥100 gerekir.
  • hard setinde hiç halüsinasyon gözlenmedi (0/36); ancak n=36 için %95 üst sınır yaklaşık %10’dur. Bu, sıfır bir gözlemdir — sıfır oran iddiası değil.
  • Zamansız bilgide üstünlük yok. Çoklu-model tek başına ham doğruluğu artırmıyor; kazanç (a) daha az uydurma ve (b) web topraklamasından geliyor.
  • Judge bazen web kanıtına rağmen yanlış kazananı seçiyor ya da doğru olan ama uydurma ek detay taşıyan cevabı seçiyor. freshqa’daki 3 hatanın tamamı bu türden.
  • Grader (Opus 4.8) stabil ama kusursuz değil; nüanslı maddelerde katı olabiliyor. Bu rapor için 5+ madde elle doğrulandı.

Tekrarla

cd Web/server && node eval/run.js --dataset <hard|freshqa> --tier <free|pro> --grader anthropic/claude-opus-4-8 --concurrency 2

Ham transkriptler, grader gerekçeleri ve model sürümleri eşlik eden .json/.csv dosyalarındadır.