نتائج التقييم

هذه ميزة قيد التطوير.

يوفر الهاب نظامًا لا مركزيًا لتتبع نتائج تقييم النماذج. تستضيف مجموعات بيانات المعايير لوحات الصدارة، وتخزّن مستودعات النماذج درجات التقييم التي تظهر تلقائيًا على صفحة النموذج ولوحة صدارة المعيار على حد سواء.

مجموعات بيانات المعايير

يمكن تعريف مستودعات مجموعات البيانات على أنها معايير (مثل MMLU-Pro، HLE، GPQA). تعرض هذه المستودعات وسم “Benchmark” وتجمع تلقائيًا نتائج التقييم من مستودعات النماذج عبر المنصة وتعرض لوحة صدارة لأفضل النماذج.

نتائج تقييم النموذج

تُخزَّن درجات التقييم في مستودعات النماذج كملفات YAML في مجلد .eval_results/. وتشمل هذه النتائج:

• تظهر في صفحة النموذج مع روابط إلى لوحة صدارة المعايير
• تُجمَّع في لوحات الصدارة الخاصة بمجموعة بيانات المعيار
• يمكن تقديمها عبر طلبات الدمج (PRs) ووسمها بأنها "مُقدَّمة من المجتمع"

إضافة نتائج التقييم

لإضافة نتائج التقييم إلى نموذج، يمكنك إرسال طلب دمج (PR) إلى مستودع النموذج يتضمن ملف YAML في مجلد .eval_results/.

أنشئ ملف YAML في .eval_results/*.yaml في مستودع النموذج الخاص بك:

- dataset:
    id: cais/hle                  # Required. Hub dataset ID (must be a Benchmark)
    task_id: default              # Required. ID of the Task, as defined in the dataset's eval.yaml
    revision: <hash>              # Optional. Dataset revision hash
  value: 20.90                    # Required. Metric value
  verifyToken: <token>            # Optional. Cryptographic proof of auditable evaluation
  date: "2025-01-15"              # Optional. ISO-8601 date or datetime of when the eval was run (defaults to git commit time)
  source:                         # Optional. Attribution for this result, for instance a repo containing output traces or a Paper
    url: https://huggingface.co/spaces/SaylorTwift/smollm3-mmlu-pro  # Required if source provided
    name: Eval traces             # Optional. Display name
    user: SaylorTwift             # Optional. HF username/org
  notes: "no-tools"               # Optional. Details about the evaluation setup (e.g., "tools", "no-tools", etc.)

أو، مع السمات المطلوبة فقط:

- dataset:
    id: Idavidrein/gpqa
    task_id: gpqa_diamond
  value: 0.412

تعرض النتائج شارات بناءً على بياناتها الوصفية في ملف YAML:

لمزيد من التفاصيل حول كيفية تنسيق هذه البيانات، راجع مواصفات نتائج التقييم.

مساهمات المجتمع

يمكن لأي شخص إرسال نتائج التقييم إلى أي نموذج عبر طلب سحب:

1. انتقل إلى صفحة النموذج وانقر على تبويب “المجتمع” ثم افتح طلب سحب.
2. أضف ملف .eval_results/*.yaml يحتوي على نتائجك.
3. ستظهر طلبات الدمج على أنها “مُقدَّمة من المجتمع” في صفحة النموذج أثناء كونها مفتوحة.

لمساعدة في تقييم نموذج، راجع دليل تقييم النماذج باستخدام Inspect. يمكن كتابة سجلات التقييم من Inspect مباشرةً في حاويات تخزين HF.

تظهر تقييمات المجتمع أثناء بقاء طلب الدمج مفتوحًا. إذا كان هناك نزاع على تقييم معين، يمكن لمؤلف النموذج إغلاق طلب الدمج لإزالته. الهدف هو إبراز بيانات التقييم الموجودة بشكل شفاف، مع العمل نحو معيار قابل لإعادة الإنتاج بالكامل عبر التقييمات الموثقة.

إخفاء النماذج من لوحة الصدارة

يمكن لمسيري اختبارات الأداء إخفاء نموذج من لوحة الترتيب الخاصة بهم، على سبيل المثال إذا اعترضوا على النتائج المُبلَّغ عنها:

• في صفحة مجموعة بيانات المعيار، يمكن للمُشرفين استخدام مفتاح التبديل في كل صف من صفوف لوحة الصدارة لإخفاء نموذج أو إظهاره. تُدرج النماذج المخفية في قائمة بحيث يمكن استعادتها لاحقًا.
• تُطبَّق الإخفاء على النموذج عبر جميع مهام المعيار المرجعي.
• تُحذف النماذج المخفية من لوحة المتصدرين العامة، وتُعاد ترتيب النماذج المتبقية.
• في صفحة النموذج، لم تعد نتائج ذلك المعيار تُعرض علنًا.

تسجيل معيار

لتسجيل مجموعة بياناتك كمعيار:

1. أنشئ مستودع بيانات يحتوي على بيانات التقييم الخاصة بك
2. أضف ملف eval.yaml إلى جذر المستودع مع إعدادات المعيار المرجعي الخاص بك، بما يتوافق مع المواصفة المحددة أدناه.
3. يتم التحقق من الملف عند الدفع
4. (بيتا) تواصل معنا حتى نتمكن من إضافته إلى قائمة السماح.

يمكن العثور على أمثلة في هذه المعايير: GPQA، MMLU-Pro، HLE، GSM8K.

مواصفة Eval.yaml

يجب أن يحتوي eval.yaml على الحقول التالية:

• name — اسم العرض المقروء للبشر للمعيار (مثلًا "Humanity's Last Exam").
• description — وصف موجز لما يقيسه هذا المعيار.
• evaluation_framework — المعرّف القياسي لإطار التقييم الخاص بهذا المعيار المرجعي. هذا حقل قابل للتعداد (enumerable) تحافظ عليه فريق Hugging Face. أضِف إطارك الخاص إلى القائمة هنا. يتم دعم إطار واحد فقط لكل معيار مرجعي.
• tasks[] — قائمة بالمهام (لوحات الصدارة الفرعية) التي يحددها هذا المعيار (انظر أدناه).

الحقول المطلوبة في كل عنصر من عناصر tasks[]:

• id — المعرّف الفريد للمهمة. (مثل "gpqa_diamond"). يمكن لمقياس واحد أن يعرّف عدة مهام، حيث ينتج عن كل منها لوحة صدارة خاصة به. يمكنك اختيار معرّف لوحة الصدارة لكل مهمة.

الحقول الاختيارية في كل عنصر من عناصر tasks[]:

• config — إعدادات مجموعة بيانات Hugging Face التي سيتم تقييمها (مثل "default"). الافتراضي هو الإعداد الافتراضي لمجموعة البيانات.
• split — الجزء من مجموعة بيانات Hugging Face الذي سيتم تقييمه (مثل "test"). القيمة الافتراضية هي "test".

عند ضبط evaluation_framework: inspect-ai، يتعين أيضاً ضبط الحقول التالية:

• field_spec — مواصفات حقول الإدخال والإخراج. يتكون من الحقول الفرعية input وtarget وchoices والحقول الفرعية الاختيارية input_image. راجع التوثيق لمزيد من التفاصيل.
• solvers — المُحَلِّلات المستخدمة للانتقال من المدخلات إلى المخرجات باستخدام نموذج الذكاء الاصطناعي. يمكن أن تتراوح من موجه نظام بسيط إلى حلقات نقد ذاتي. راجع التوثيق لمزيد من التفاصيل.
• scores — المُقيِّمات المستخدمة. تحدد المُقيِّمات ما إذا كانت المُحلِّلات نجحت في إيجاد المخرج الصحيح للهدف المعرَّف في مجموعة البيانات، وبأي مدى. راجع التوثيق لمزيد من التفاصيل.

مثال مبسّط (الحقول المطلوبة فقط):

name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: math-arena

tasks:
  - id: MathArena/aime_2026

مثال موسّع:

name: MathArena AIME 2026
description: The American Invitational Mathematics Exam (AIME).
evaluation_framework: "math-arena"

tasks:
  - id: MathArena/aime_2026
    config: default
    split: test

مثال موسّع (خاص بـ"inspect-ai"):

name: Humanity's Last Exam
description: >
  Humanity's Last Exam (HLE) is a multi-modal benchmark at the frontier of human
  knowledge, designed to be the final closed-ended academic benchmark of its
  kind with broad subject coverage. Humanity's Last Exam consists of 2,500
  questions across dozens of subjects, including mathematics, humanities, and
  the natural sciences. HLE is developed globally by subject-matter experts and
  consists of multiple-choice and short-answer questions suitable for automated
  grading.
evaluation_framework: "inspect-ai"

tasks:
  - id: hle
    config: default
    split: test

    field_spec:
      input: question
      input_image: image
      target: answer

    solvers:
      - name: system_message
        args:
          template: |
            Your response should be in the following format:
            Explanation: {your explanation for your answer choice}
            Answer: {your chosen answer}
            Confidence: {your confidence score between 0% and 100% for your answer}
      - name: generate

    scorers:
      - name: model_graded_fact
        args:
          model: openai/o3-mini