Nasıl çalışır
Nasıl ölçtük?
Ekrandaki her rakam depodaki bir ölçümden gelir. Ölçmediğimiz şeyi sayı diye yazmayız.
- 12
- puan bandı, her biri ayrı bir model
- 11,15milyon
- satranç partisiyle eğitildi (Lichess)
- %50,4
- insan hamlesini ilk tercihinde bildi; 557 gerçek konumda ölçüldü
- %77,9
- oynanan hamle modelin ilk üç tercihinin içinde
Yöntem
Üç adımda ölçüm
Motor hamleyi tartar
Stockfish, hamleden önceki ve sonraki konumu derinlik 12'de değerlendirir. İkisinin farkı o hamlenin maliyeti.
Maliyet, kazanma olasılığına çevrilir
Centipiyon yanıltır: kazanılmış konumda 300'lük kayma bir şey değiştirmez, dengeli konumda oyunun kendisidir. Bu yüzden her kayıp, kazanma olasılığındaki düşüşe çevrilir.
Aynı 300 cp'lik kayıp dengeli konumda 25,1 puan, kazanılmış konumda 0,2 puan eder.
Seviyenle kıyaslanır
12 insan modelinden seninkine "bu konumda bu puan bandındakiler ne oynar?" diye sorulur. Oynadığın hamlenin bandın beklentisine göre ne kadar iyi ya da kötü olduğu, seviye farkındır.
P(kazanma) = 1 / (1 + e^(−0.00368208 · cp)), cp ∈ [−2000, +2000]
Bilge
Bilge'nin doğruluğu
Bilge'nin her cevabı sana gösterilmeden önce iddialarına bölünür; her iddia tahtayla, motorun kayıtlı analiziyle ve insan modelinin ölçtükleriyle sınanır. Çelişen cümle gösterilmez. Her ay bir örneklem baştan denetlenir ve oran burada yayımlanır.
Son denetim
Henüz yayımlanmış bir denetim yok.
İlk denetim Ekim 2026 sonunda yayımlanacak. Hedef: aylık örneklemde iddiaların en az %95,0'inin doğrulanması. Ölçülmeden burada bir oran yazmıyoruz.
Yöntemin ayrıntısı: iddia türleri, eşikler, geçmiş denetimler
Neyi iddia sayıyoruz, nasıl sınıyoruz?
Tahtayla ya da motorla sınanabilecek her olgu bir iddiadır. Soru, öğüt ve cesaret cümlesi iddia değildir. Soru, olumsuz ve belirsiz ("görünüyor") cümlelerde yalnız hamle adları ve varsaydıkları taşlar sınanır; koşul cümlesi ("oynasaydın …") o hamlenin hattıyla sınanır.
| Tür | Örnek | Nasıl sınanır | Ne zaman çelişir |
|---|---|---|---|
| Hamle | "Axb5 ile piyonu al" | Hamle konumda (ya da verilen motor hattında) oynanabilir mi, analiz verisinde geçiyor mu. | Hiçbir konumda oynanamıyorsa: uydurma hamle. |
| Taş ve kare | "c4'teki filin", "filin çok aktif" | O taş o karede duruyor mu; "filin" diyorsa tahtada senin filin var mı. | Kare boşsa ya da taş tahtada artık yoksa. |
| Malzeme | "Bu hamle at kaybettirir", "bir piyon kazanırsın" | Motorun hattı oynanır, hangi taşın kime geçtiği sayılır. | Hat başka bir taşı gösteriyorsa ("at" dedi, hat fil kaybettiriyor), malzeme ters yöne gidiyorsa ya da motor hamlenin bedelini 100 santipiyonun altında ölçüyorsa. |
| Taktik | "çatal", "şah çeker", "mat eder", "asılı taş", "açmaz", "şiş" | Motif konumda ya da hamlenin hattında aranır; "Vb8+" gibi yazılan işaret hamlenin kendisiyle sınanır. | Adı geçen hamle o motifi kurmuyorsa ya da analiz verisinde hiçbir mat yokken "mat" deniyorsa. |
| Değerlendirme | "üstünsün", "konum eşit", "konumun kötüleşti", "kazanma şansını 12,3 puan düşürdü" | Motorun değeri, senin gözünden; puan iddiası ekranın kendi formülüyle. | Değer iddianın tersini gösteriyorsa (eşikler aşağıda). |
| En iyi hamle | "En iyi hamle Şd8'di", "en iyi hamleyi buldun" | Motorun ilk adayıyla karşılaştırılır. | Motorun hamlesi başkaysa; oynanan hamle 50 santipiyon ya da daha fazla kaybettirdiyse. |
| İnsan modeli | "Seviyendekilerin %36'sı h6 oynar", "çoğu bunu oynar" | İnsan modelinin bu konum için ölçtüğü paylarla. | Sayı ölçülen paydan 1,5 yüzde puanından (ya da payın %10'undan) uzaksa, "çoğu" denen hamlenin payı %50'nin altındaysa, ölçülmüş sayı yokken yüzde yazılmışsa. |
Ne gösterilmez?
- Motorla ya da tahtayla çelişen bir iddia taşıyan cümle sana hiç gösterilmez.
- İddiası olmayan cümle (soru, öğüt) olduğu gibi kalır.
- Doğrulanamayan iddia (hat kısa, veri susuyor) gösterilir, ama aylık oranda doğrulanmış sayılmaz: oran onları paydada tutar.
- Cevabın yarısından fazlası düşerse ya da 2 cümleden azı kalırsa yarım bir açıklama yerine motorun sayılarından kurulan kısa metin gösterilir.
Değerlendirme eşikleri (santipiyon, senin gözünden)
| İddia | Motorun değeri |
|---|---|
| "Üstünsün" / "gerideysin" | ≥ +50 doğrulanır, ≤ −50 çelişir |
| "Kazanıyorsun" / "kaybediyorsun" | ≥ +200 doğrulanır, ≤ 0 çelişir |
| "Konum eşit" | |değer| ≤ 50 doğrulanır, ≥ 150 çelişir |
| "Konumun düzeldi / kötüleşti" | en az 50 santipiyonluk değişim |
| "En iyi hamleyi buldun" | kayıp ≤ 10 doğrulanır, ≥ 50 çelişir |
Aradaki değerler "doğrulanamıyor" sayılır: sınırda bir iddiayı ne doğru ne yanlış ilan ediyoruz.
lib/llm/claims/verify.ts; lib/llm/claims/extract.ts; yöntem bilge-claims-v1
Kendin çalıştır
İddia değil, çalışan bir betik
Eşikler ve rakamlar depodaki koddan okunur. Aşağıdaki iki komut bunu sınar.
# Örnek partiyle rozet eşiklerinin sıklığını ölç node scripts/calibrate-thresholds.ts lib/demo/zweig-demo-analysis.json # Bu sayfadaki her rakamın kaynağı ve tarihi var mı? node --test lib/measurements/zweig-metrics.test.ts
Dürüst kısım
Henüz ölçemediklerimiz
Bunlar ölçülene kadar ürün bunları söylemez.
- b01 (400–1000) kendi modeli doğrulama bekliyor
- Mutlak puan için kalibrasyon seti yok
- Eşikler 50 gerçek oyunda henüz doğrulanmadı