decider-4b-tr-judge: Türkçe RAG relevance judge

English summary. A third LoRA round (rank 64, merged into the bf16 weights) on hayriyigit/decider-4b-tr-rag for a RAG relevance judge: does this retrieved document carry information that contributes directly to the answer, for the asked entity, institution, facet and period? Unlike the -rag model, partial evidence counts as relevant. The input is the production format: state {question, document, today} (in that order), the document rendered as [date] title + body (4000 characters), one fixed instruction. On held-out partial-evidence rows the "yes" rate goes from 0,028 to 0,952 (HotpotQA-tr) and 0,004 to 0,936 (synthetic); the cost is 2-8 points on some negatives (facet 1,000 → 0,920). Most test sets were built the same way as the training data; the model has not yet been checked on live web results.

hayriyigit/decider-4b-tr-rag üzerine üçüncü bir LoRA turu. Karar: RAG'de getirilen belge, sorunun cevabına doğrudan katkı sağlayan bilgi içeriyor mu?

-rag modeli "belge sorunun TÜM kısımlarını eksiksiz cevaplıyor mu" sorusuyla eğitilmişti. Bu yüzden kısmi ama işe yarar kanıtı da reddediyordu: bu modelin test setindeki kısmi kanıt satırlarında "evet" oranı 0,028 ve 0,004. Canlı web'de bu, getirilen sonuçların yaklaşık yarısının reddedilmesi ve bazı turlarda cevabın hiç kaynak olmadan üretilmesi demekti. Bu turda etiket tanımı değişti: kısmi cevap yeterlidir, ama bilgi sorudaki varlığa, kuruma, özelliğe ve döneme ait olmalıdır.

Kullanım

import sys
from huggingface_hub import snapshot_download

path = snapshot_download("hayriyigit/decider-4b-tr-judge", token="hf_...")   # private repo: okuma yetkili bir token
sys.path.insert(0, path)
from decider.infer import Decider

d = Decider(path)
QUESTION = {"relevant": {"type": "noul", "instructions": INSTRUCTION}}      # INSTRUCTION: aşağıdaki metin, birebir
state = {"question": "Ürün A'nın azami hızı nedir?",
          "document": "[2026-08-14] Ürün A teknik özellikleri\n\n…gövde…",   # en fazla 4000 karakter
          "today": "2026-10-07"}                                            # today en sonda
p_yes = d.system_one(state, QUESTION)["answers"]["relevant"]["noul"]

Eğitimde tek ve sabit bir soru metni kullanıldı; çalışma anında da birebir aynı metin gönderilmeli:

document, question sorusunun cevabına doğrudan katkı sağlayan bilgi içeriyor mu? Bilgi, soruda geçen varlığa, kuruma, özelliğe ve döneme ait olmalı; kısmi cevap yeterlidir. Aynı türden bilginin başka bir varlık, kurum ya da dönem için verilmesi; doğru varlık için başka bir metrik ya da alt konu; today tarihine göre yanlış dönem; yalnızca başlık, menü, bağlantı listesi, çerez ya da kişisel veri metni; cevaba katkısı olmayan genel anlatım HAYIR'dır. Yalnızca belgeye dayan.

Girdi biçimi eğitimdekiyle aynı olmalı:

• State alanları question, document, today sırasıyla verilmeli. Önceki modelde today başa konunca doğru bir belgenin P(evet) değeri 0,996'dan 0,05'e düştü.
• document: [yayın tarihi] başlık, boş satır, gövde; toplam 4000 karakter. Tarihi olmayan belge başlık, boş satır, gövde biçiminde verildi.
• question: kullanıcının doğal sorusu. Eğitim satırlarının ~%17'sinde soru anahtar kelime sorgusu biçimindeydi; doğal soru daha iyi sonuç verir.

noul temperature değeri 0,944 (decider_config.json); eğitim karışımından ayrılmış 1.500 Türkçe kararda fit edildi. Bu satırlar eğitim dağılımından gelir. Üretimdeki önsel farklıysa (ör. LLM judge'ın sonuçların %92'sini tuttuğu bir akış), temperature ve threshold kendi verinizde yeniden seçilmelidir.

Değerlendirme

Test satırları eğitimde görülmedi (sentetik ve şablon satırlar belge bazında ayrıldı). "Önce" başlangıç modelidir (decider-4b-tr-rag), aynı girdi biçimi ve aynı soru metniyle ölçüldü. Toplam 17.663 karar: doğruluk 0,844 → 0,896, ECE 0,095 → 0,055.

Test satırı	Doğru cevap	Karar	Önce	Sonra
HotpotQA-tr: gold paragraflardan yalnızca biri (kısmi kanıt)	evet	500	0,028	0,952
Sentetik: iki parçalı soru, bir parçası belgede	evet	234	0,004	0,936
aynısı, anahtar kelime sorgusuyla	evet	234	0,004	0,923
HotpotQA-tr: tüm gold paragraflar	evet	500	0,968	0,996
MuSiQue-tr: tüm destekleyici paragraflar	evet	250	0,808	1,000
Sentetik: cevap belgede	evet	352	0,952	0,989
aynısı, anahtar kelime sorgusuyla	evet	352	0,901	0,983
2WikiMultihopQA-tr: doğru varlık	evet	600	1,000	1,000
2WikiMultihopQA-tr: aynı öznitelik, başka varlık	hayır	600	1,000	1,000
Sentetik: aynı türden başka varlık	hayır	118	0,992	0,992
Sentetik: başka kurumun aynı bilgisi	hayır	113	1,000	0,982
Sentetik: doğru varlık, belgede olmayan öznitelik	hayır	127	0,984	0,961
aynısı, anahtar kelime sorgusuyla	hayır	127	0,984	0,929
Sentetik: yayın tarihinden sonraki ya da kapsanmayan dönem	hayır	113	1,000	0,974
Sentetik: başka şehir/bölge, başka yön ya da yalnızca başlıklar	hayır	113	1,000	0,920
aynısı, anahtar kelime sorgusuyla	hayır	113	0,991	0,885
HotpotQA-tr: konuyla ilgili, cevaba katkısı olmayan paragraflar	hayır	500	0,996	0,928
Şablon: başlık listesi	hayır	82	1,000	1,000
Şablon: menü ve bağlantılar	hayır	92	1,000	1,000
Şablon: çerez / KVKK metni	hayır	76	1,000	1,000
Şablon: JS iskeleti, 404, paywall	hayır	100	1,000	1,000
Başka konudaki belge	hayır	150	1,000	1,000
SQuAD 2.0-tr dev, cevaplanabilir (bağımsız, insan yazımı)	evet	5.928	0,920	0,887
SQuAD 2.0-tr dev, cevaplanamaz (bağımsız, insan yazımı)	hayır	5.945	0,798	0,831

En az 2 puan değişen değerler kalın yazıldı.

Nasıl okunmalı

• Hedeflenen kazanç geldi. Model kısmi kanıtı artık kabul ediyor; tam cevaplarda ve anahtar kelime sorgularında da "evet" oranı yükseldi.
• Bedeli negatiflerde. Başka yer/yön (facet) ve konuyla ilgili ama katkısız paragraf satırlarında "hayır"ı bilme oranı 1,000 → 0,920 ve 0,996 → 0,928 oldu; model genel olarak "evet"e biraz kaydı. Varlık ve kurum negatifleri neredeyse aynı kaldı.
• Test setlerinin çoğu eğitim verisiyle aynı yöntemle kuruldu. SQuAD dışındaki satırlar aynı şablon, aynı writer model ve aynı paragraf düzeniyle üretildi; bu sayılar gerçek belgelerdeki başarının üst sınırı olarak okunmalı. Şablon sayfalardaki 1,000, şablonların kolay olduğunu da gösteriyor olabilir.
• Bağımsız SQuAD 2.0-tr'de genel doğruluk aynı kaldı (0,859 → 0,859): cevaplanamazları bilme arttı, cevaplanabilirleri bilme azaldı. SQuAD'ın cevaplanamaz soruları bu modelin etiket tanımında da "hayır"dır.
• Genel karar becerisinin (bev, jev-bench vb.) korunup korunmadığı ölçülmedi; eğitimde 7.000 replay satırı vardı.

Validation

Eğitim karışımından belgeye göre gruplanarak ayrılmış 1.500 Türkçe satır: doğruluk 0,981, cross-entropy 0,053.

Eğitim verisi

Kaynak	Evet	Hayır
HotpotQA-tr	7.972	3.986
MuSiQue-tr	2.473	0
Konu dışı belgeler	0	1.495
Replay: bev-decision-150K-tr	4.000 satır (KL)
Replay: bev-decision-150K (İngilizce)	3.000 satır (KL)
SQuAD 2.0-tr	2.983	2.983
Sentetik Türkçe	5.323	5.404
Şablon sayfalar	0	3.490
2WikiMultihopQA-tr	2.991	2.993
Toplam	21.742	20.351

• Yeniden etiketleme. -rag turunun verisi yeni tanıma göre yeniden etiketlendi:
  • HotpotQA'nın eksik-hop satırları ve sentetik iki parçalı sorular "hayır"dan "evet"e çevrildi (kısmi kanıt).
  • MuSiQue'nin eksik-hop satırları belirsiz olduğu için (bazı hop'lar destekli, bazıları değil) çıkarıldı.
  • Varlık, kurum, dönem, metrik ve facet negatifleri aynı kaldı.
• Şablon sayfalar. Başlık listesi, menü, çerez/KVKK metni, JS iskeleti, 404 ve paywall sayfaları, sentetik belgelerin başlıklarından programatik olarak kuruldu. Soru bir belgeden, şablon sayfa aynı alandaki başka belgelerin başlıklarından gelir; sorunun cevabını içeren başlık kullanılmadı.
• Anahtar kelime biçimi. Sentetik ve çeviri satırların ~%17'sinde (7.348 satır) soru kural tabanlı olarak anahtar kelime sorgusuna çevrildi: soru sözcükleri, soru eki ve noktalama çıkarıldı, küçük harfe çevrildi.
• today. Sentetik satırlarda yayın tarihinden 0-120 gün sonra, diğerlerinde 2026 içinde rastgele bir gün. Etiketle ilişkisi yok.
• Değerlendirme setleri dışarıda tutuldu. Belirli bir değerlendirme setinin (judge set) adları ve bir yük testinin soru konuları eğitim satırlarından çıkarıldı.

Eğitim

Başlangıç	hayriyigit/decider-4b-tr-rag (e7a42ae) ← hayriyigit/decider-4b-tr ← Mapika/decider-4b v2.1
Yöntem	LoRA rank 64, alpha 128; attention ve MLP projeksiyonları; 121,9M trainable parametre; bf16 ağırlıklara merge edildi
Loss	Türkçe satırlarda label'a cross-entropy; replay satırlarında frozen başlangıç modelinin cevap dağılımına (KL)
Program	1 epoch, 418 adım × 65.536 token (66.496 prompt satırı, 31.037.238 token); learning rate 1e-4, %5 warmup, cosine
Donanım ve süre	1 × RTX 5090 (32 GB), bf16, gradient checkpointing, causal-conv1d; eğitim 2 sa 22 dk (~3.650 token/s)

Eğitim ve değerlendirme kayıtları training/ klasöründe.

Sınırlamalar

• Canlı web sonuçlarında ve kullanıcının kendi judge set'inde henüz ölçülmedi. Kabul için asıl ölçü bunlardır.
• Eğitim verisinin çoğu Vikipedi paragraflarının makine çevirisi ve LLM üretimi belgelerdir; gerçek web sayfalarının dağılımından farklıdır.
• Soru metni ve girdi biçimi değişirse sonuçlar değişir; yukarıdaki biçim birebir kullanılmalı.
• Genel karar becerisi ve FP8 bu model için ölçülmedi.

Lisans

Taban modelin ve eğitim verilerinin lisansları farklıdır; ayrıntılar LICENSE.md'de.