مستقبل أدوات توثيق تعلم الآلة

استلهم تطوير إطار بطاقات النموذج في عام 2018 من جهود التوثيق الرئيسية في إطار بيانات التصريحات لمعالجة اللغة الطبيعية (Bender & Friedman, 2018) وبيانات أوراق البيانات (Gebru et al., 2018). منذ اقتراح بطاقات النموذج، تم اقتراح عدد من الأدوات الأخرى لتوثيق وتقييم جوانب مختلفة من دورة تطوير تعلم الآلة. يمكن وضع هذه الأدوات، بما في ذلك بطاقات النموذج وجهود التوثيق ذات الصلة المقترحة قبل بطاقات النموذج، في سياق يركز على تركيزها (مثلاً، على أي جزء من دورة حياة نظام تعلم الآلة تركز الأداة؟) والجمهور المستهدف لها (مثلاً، لمن صُممت الأداة؟). في الشكلين 1-2 أدناه، نلخص عدة أدوات توثيق بارزة على طول هذه الأبعاد، ونقدم أوصافاً سياقية لكل أداة، ونربطها بأمثلة. نصنّف أدوات التوثيق بشكل عام على أنها تنتمي إلى المجموعات التالية:

• مركّز على البيانات، بما في ذلك أدوات التوثيق المخصصة لمجموعات البيانات المستخدمة في دورة حياة نظام تعلم الآلة
• مركّز على النماذج والطرق، ويشمل أدوات توثيق تركز على نماذج وطرق تعلّم الآلة؛ و
• مركّز على الأنظمة، ويشمل أدوات توثيق مخصصة لأنظمة تعلّم الآلة، بما في ذلك النماذج، والطرق، ومجموعات البيانات، وواجهات برمجة التطبيقات، والمكونات غير المرتبطة بالذكاء الاصطناعي أو تعلّم الآلة التي تتفاعل مع بعضها البعض كجزء من نظام تعلّم الآلة

لا تتنافى هذه المجموعات مع بعضها البعض؛ فهي تشمل جوانب متداخلة من دورة حياة نظام التعلم الآلي. على سبيل المثال، تركز بطاقات النظام على توثيق أنظمة التعلم الآلي التي قد تتضمن عدة نماذج ومجموعات بيانات، وبالتالي قد تتضمن محتوى يتداخل مع أدوات التوثيق التي تركز على البيانات أو على النموذج. الأدوات الموصوفة هي قائمة غير شاملة لأدوات التوثيق الخاصة بدورة حياة نظام التعلم الآلي. بشكل عام، قمنا بتضمين الأدوات التي كانت:

• يركز على توثيق بعض (أو عدة) جوانب من دورة حياة نظام التعلم الآلي
• شمل إطلاق قالب مخصص للاستخدام المتكرر، والتبني، والتكييف

ملخص لأدوات توثيق تعلم الآلة

الشكل 1

مرحلة دورة حياة نظام التعلم الآلي	الأداة	وصف موجز	أمثلة
البيانات	بطاقات البيانات (Gebru et al., 2018)	“نوصي بأن يُرفق مع كل مجموعة بيانات ورقة بيانات توثّق دوافعها، وطريقة إنشائها، وتركيبها، والاستخدامات المقصودة منها، وتوزيعها، وصيانتها، ومعلومات أخرى.”	انظر، على سبيل المثال، إلى مستودع آيفي لي الذي يحتوي على أمثلة
البيانات	بيانات البيانات (Bender & Friedman, 2018)(Bender et al., 2021)	«بيان البيانات هو وصف لمجموعة بيانات يوفر سياقًا يمكّن المطورين والمستخدمين من فهم أفضل لكيفية تعميم النتائج التجريبية، وكيفية نشر البرمجيات بشكل مناسب، وما هي التحيزات التي قد تنعكس في الأنظمة المبنية على تلك البرمجيات.»	راجع بيانات NLP Workshop
البيانات	ملصقات تغذية مجموعة البيانات (هولاند وآخرون، 2018)	«تُعدّ بطاقة تغذية البيانات إطارًا تشخيصيًا يُخفّض عتبة إجراء التحليل القياسي للبيانات من خلال تقديم نظرة مُلخَّصة وشاملة في آنٍ واحد على «مكوّنات» مجموعة البيانات قبل تطوير نماذج الذكاء الاصطناعي.»	انظر إلى ملصق التغذية للبيانات
البيانات	بطاقات البيانات لمعالجة اللغة الطبيعية (McMillan-Major et al., 2021)	“نقدّم دراستَي حالة حول إنشاء قوالب ودلائل توثيق في معالجة اللغة الطبيعية (NLP): مركز مجموعات بيانات Hugging Face (HF)[^1] ومقياس التوليد وتقييمه ومؤشراته (GEM). نستخدم مصطلح بطاقة البيانات للإشارة إلى توثيق مجموعات البيانات في الحالتين.	انظر إلى (McMillan-Major et al., 2021)
البيانات	إطار توثيق دورة حياة تطوير مجموعة البيانات (Hutchinson et al., 2021)	“نُقدّم إطارًا صارمًا لشفافية تطوير مجموعات البيانات يدعم اتخاذ القرار والمساءلة. يستند هذا الإطار إلى الطبيعة الدورية والبنية التحتية والهندسية لتطوير مجموعات البيانات للاستفادة من أفضل الممارسات في دورة حياة تطوير البرمجيات.”	انظر إلى (Hutchinson et al., 2021)، الملحق A للحصول على القوالب
البيانات	بطاقات البيانات (Pushkarna et al., 2021)	بطاقات البيانات هي ملخصات منظمة للحقائق الأساسية حول جوانب مختلفة من مجموعات بيانات التعلم الآلي التي يحتاجها أصحاب المصلحة عبر دورة حياة المجموعة من أجل تطوير ذكاء اصطناعي مسؤول. توفر هذه الملخصات شرحًا للعمليات والأسباب التي تشكل البيانات وبالتالي النماذج.	راجع دليل بطاقات البيانات على GitHub
البيانات	CrowdWorkSheets (Díaz et al., 2022)	“نقدّم إطارًا جديدًا، CrowdWorkSheets، لمطوّري مجموعات البيانات لتسهيل التوثيق الشفاف لنقاط القرارات الرئيسية في المراحل المختلفة من خط أنابيب تسمية البيانات: صياغة المهمة، واختيار المُسمّين، واختيارات المنصة والبنية التحتية، وتحليل مجموعة البيانات وتقييمها، وإصدار مجموعة البيانات وصيانتها.”	انظر إلى (Díaz et al., 2022)
النماذج والطرق	بطاقات النماذج Mitchell et al. (2018)	“بطاقات النماذج هي وثائق قصيرة ترافق نماذج تعلّم الآلة المدرَّبة، وتوفّر تقييمًا مُقيَّمًا بمعايير مرجعية في مجموعة متنوعة من الظروف… ذات الصلة بمجالات التطبيق المقصودة. كما تكشف بطاقات النماذج عن السياق الذي يُقصد استخدام النماذج فيه، وتفاصيل إجراءات تقييم الأداء، ومعلومات أخرى ذات صلة.”	راجع https://huggingface.co/models، ودليل بطاقة النموذج، وأمثلة على بطاقات النماذج
النماذج والطرق	بطاقات القيمة Shen et al. (2021)	“نقدّم بطاقات القيمة، وهي مجموعة أدوات قائمة على المناقشة تهدف إلى زيادة وعي طلاب علوم الحاسوب والممارسين بالتأثيرات الاجتماعية لأنظمة اتخاذ القرار القائمة على تعلّم الآلة…. تشجع بطاقات القيمة على استكشاف ومناقشة مقاييس أداء تعلّم الآلة المختلفة والمقايضات المحتملة بينها.”	انظر إلى Shen et al. (2021)، القسم 3.3
النماذج والطرق	بطاقات المنهجية Adkins et al. (2022)	“نقترح بطاقات طرق لتوجيه مهندسي تعلم الآلة عبر عملية تطوير النموذج… تتكون المعلومات من عناصر وصفية وإرشادية، مع التركيز بشكل رئيسي على ضمان قدرة مهندسي تعلم الآلة على استخدام هذه الطرق بشكل صحيح.”	انظر Adkins et al. (2022)، الملحق أ
النماذج والطرق	التسميات الاستهلاكية لنماذج التعلم الآلي Seifert et al. (2019)	“نقترح إصدار ملصقات استهلاكية للنماذج الآلية المدرَّبة والمنشورة. وتستهدف هذه الملصقات بشكل رئيسي غير المتخصصين في تعلم الآلة، مثل مشغلي نظام تعلم الآلة، ومنفّذي القرارات، وأطراف القرار أنفسهم”	انظر إلى Seifet et al. (2019)
الأنظمة	نشرات الحقائق Arnold et al. (2019)	ستتضمن ورقة الحقائق أقسامًا عن جميع السمات ذات الصلة بخدمة الذكاء الاصطناعي، مثل الاستخدام المقصود، والأداء، والسلامة، والأمان. وسيشمل الأداء مقاييس الدقة أو المخاطر المناسبة إلى جانب معلومات التوقيت.	انظر إلى IBM’s AI Factsheets 360 و Hind et al., (2020)
الأنظمة	بطاقات النظام Procope et al. (2022)	“تهدف بطاقات النظام إلى زيادة الشفافية في أنظمة تعلّم الآلة من خلال تقديم نظرة عامة للأطراف المعنية على المكونات المختلفة لنظام تعلّم الآلة، وكيفية تفاعل هذه المكونات مع بعضها البعض، وكيفية استخدام النظام لمختلف أجزاء البيانات والمعلومات المحمية.”	راجع بطاقة نظام ترتيب تغذية إنستغرام من Meta
الأنظمة	تقارير المكافآت لتعلم المعزز Gilbert et al. (2022)	«نرسم إطارًا لتوثيق أنظمة التعلم المُنفَّذة، نسميه تقارير المكافآت… نُعرّف تقارير المكافآت على أنها وثائق حيّة تتتبع التحديثات في خيارات التصميم والفرضيات الكامنة وراء ما يُحسّنه نظام آليّ معيّن. وهي مُصمَّمة لتتبع الظواهر الديناميكية الناشئة عن نشر النظام، بدلاً من مجرد الخصائص الثابتة للنماذج أو البيانات.»	راجع https://rewardreports.github.io
الأنظمة	صالة التمرين على المتانة Goel et al. (2021)	«نحدد التحديات المتعلقة بتقييم أنظمة معالجة اللغة الطبيعية، ونقترح حلاً على شكل Robustness Gym (RG)، وهو مجموعة أدوات تقييم بسيطة وقابلة للتوسيع توحّد أربعة معايير تقييم قياسية: المجموعات الفرعية، والتحويلات، ومجموعات التقييم، والهجمات المعادية.»	راجع https://github.com/robustness-gym/robustness-gym
الأنظمة	حول تعلّم الآلة Raji and Yang, (2019)	“ABOUT ML (التعليمة المرجعية والمعايرة على فهم دورة حياة تعلّم الآلة وشفافيتها) مبادرة متعددة السنوات وأصحاب المصلحة يقودها PAI. تهدف هذه المبادرة إلى جمع مجموعة متنوعة من وجهات النظر لتطوير ممارسات توثيق أنظمة تعلّم الآلة واختبارها وتنفيذها على نطاق واسع.”	راجع مكتبة موارد تعلم الآلة

أدوات توثيق تركز على البيانات

تركّز عدة أدوات توثيق مقترحة على مجموعات البيانات المستخدمة في دورة حياة نظام تعلّم الآلة، بما في ذلك التدريب، والتطوير، والتحقق، وضبط الدقة، وتقييم نماذج تعلّم الآلة ضمن دورات مستمرة. تركز هذه الأدوات بشكل عام على الجوانب العديدة لدورة حياة البيانات (ربما لمجموعة بيانات معينة، أو لمجموعة من مجموعات البيانات، أو بشكل أوسع)، بما في ذلك كيفية تجميع البيانات وجمعها وتعليقها، وكيفية استخدامها.

• بامتداد مفهوم جداول البيانات في صناعة الإلكترونيات، يقترح Gebru et al. (2018) استخدام جداول بيانات لمجموعات البيانات لتوثيق التفاصيل المتعلقة بإنشاء مجموعة البيانات، والاستخدامات المحتملة لها، والمخاوف المرتبطة بها.
• Bender and Friedman (2018) propose data statements for natural language processing. Bender, Friedman and McMillan-Major (2021) update the original data statements framework and provide resources including a guide for writing data statements and translating between the first version of the schema and the newer version[^2].
• اقترح Holland et al. (2018) ملصقات تغذية البيانات، على غرار حقائق التغذية للمواد الغذائية وملصقات الإفصاح عن الخصوصية، كأداة لتحليل البيانات واتخاذ القرارات بشأنها. أصدر فريق ملصقات تغذية البيانات تصميمًا محدثًا وواجهة للملصق في عام 2020 (Chmielinski et al., 2020)).
• يصف McMillan-Major et al. (2021) عملية التطوير والقوالب الناتجة عن بطاقات البيانات لمعالجة اللغة الطبيعية على شكل بطاقات بيانات في Hugging Face Hub[^3] وبطاقات بيانات للمجموعات التي تشكل جزءًا من معيار NLP لتقييم التوليد ومقاييسه (GEM) environment[^4].
• هاتشينسون وآخرون (2021) يصفون الحاجة إلى توثيق شامل للمجموعات البيانات، ويستندون إلى ممارسات تطوير البرمجيات لتقديم قوالب لتوثيق عدة جوانب من دورة حياة تطوير المجموعة البيانات (لأغراض الجدولين 1 و2، نشير إلى إطارهم على أنه إطار توثيق دورة حياة تطوير المجموعة البيانات).
• اقترح Pushkarna et al. (2021) بطاقات البيانات كجزء من data card playbook، وهو أداة توثيق تركز على الإنسان وتهدف إلى توثيق مجموعات البيانات المستخدمة في الصناعة والبحث.

أدوات توثيق تركز على النموذج والطريقة

يمكن اعتبار مجموعة أخرى من أدوات التوثيق تركز على نماذج تعلم الآلة وطرق تعلم الآلة. وتشمل هذه الأدوات:

• اقترح Mitchell et al. (2018) بطاقات النماذج للإبلاغ عن النماذج لمواكبة نماذج التعلم الآلي المدرَّبة وتوثيق القضايا المتعلقة بالتقييم والاستخدام وغيرها من القضايا

• اقترح Shen et al. (2021) بطاقات القيم لتعليم الطلاب والممارسين عن القيم المتعلقة بنماذج التعلم الآلي

• اقترح Seifert et al. (2019) ملصقات للمستهلكين لنماذج التعلم الآلي لمساعدة غير المتخصصين الذين يستخدمون النموذج أو يتأثرون به على فهم القضايا الرئيسية المتعلقة بالنموذج.

• تحلّل Adkins et al. (2022) جوانب أدوات التوثيق الوصفي – والتي يرونها تشمل بطاقات النموذج وجداول البيانات – ويدعون إلى زيادة استخدام الأدوات التوجيهية لمهندسي التعلم الآلي. يقترحون بطاقات منهجية، تركز على منهجيات التعلم الآلي، وقد صُممت في المقام الأول مع وضع أصحاب المصلحة التقنيين، مثل مطوري النموذج والمراجعين، في الاعتبار.

  • يتصورون العلاقة بين بطاقات النماذج وبطاقات الطرق، جزئيًا، من خلال قولهم: “الأقسام والموجّهات التي نقترحها… [في قالب بطاقة الطريقة] تركز على طرق تعلم الآلة التي تكفي لإنتاج نموذج تعلم آلة سليم بمُدخلات ومخرجات ومهمة محددة. أمثلة على ذلك طرق كشف الكائنات مثل Single-shot Detectors وطرق نمذجة اللغة مثل Generative Pre-trained Transformers (GPT). من الممكن إنشاء بطاقات نماذج للنماذج المُنشأة باستخدام هذه الطرق.”

  • كما يوضحون “بينما تركز بطاقات النماذج (Model Cards) وبطاقات الحقائق (FactSheets) بشكل رئيسي على توثيق النماذج الموجودة، فإن بطاقات المنهجيات (Method Cards) تركز أكثر على الاختيارات المنهجية والخوارزمية الأساسية التي يجب مراعاتها عند إنشاء هذه النماذج وتدريبها. كقراءة تشبيهية تقريبية، إذا كانت بطاقات النماذج وبطاقات الحقائق توفر معلومات غذائية عن وجبات مطبوخة، فإن بطاقات المنهجيات توفر الوصفات.”

أدوات توثيق تركز على النظام

بدلاً من التركيز على نماذج أو مجموعات بيانات أو طرق محددة، تنظر أدوات التوثيق المركّزة على النظام في كيفية تفاعل النماذج مع بعضها البعض، ومع مجموعات البيانات والطرق، ومع مكوّنات تعلّم الآلة الأخرى لتشكيل أنظمة تعلّم الآلة.

• يقترح Procope et al. (2022) بطاقات نظام لتوثيق وشرح أنظمة الذكاء الاصطناعي – التي قد تتضمن عدة نماذج تعلّم آلي وأدوات ذكاء اصطناعي وتقنيات غير ذكاء اصطناعي – تعمل معًا لإنجاز المهام.
• يوسّع Arnold et al. (2019) فكرة إقرارات المطابقة للمنتجات الاستهلاكية لتشمل خدمات الذكاء الاصطناعي، مقترحًا FactSheets لتوثيق جوانب «خدمات الذكاء الاصطناعي» التي تُستخدَم عادةً عبر واجهات برمجة التطبيقات (APIs) وقد تتألف من عدة نماذج تعلم آلة مختلفة. ويتشارك Hind et al. (2020) تأملات حول بناء factsheets.
• اقترح Gilbert et al. (2022) Reward Reports for Reinforcement Learning لأنظمة التعلم المعزز، معترفين بالطبيعة الديناميكية لأنظمة تعلم الآلة والحاجة إلى جهود توثيقية تدمج اعتبارات الأداء بعد النشر، لا سيما في أنظمة التعلم المعزز.
• طوّر Goel et al. (2021) Robustness Gym، وهو مجموعة أدوات تقييم لاختبار عدة جوانب من الشبكات العصبية العميقة في الأنظمة الواقعية، مما يتيح المقارنة عبر منهجيات التقييم المختلفة.
• من خلال مشروع ABOUT ML (Raji and Yang, 2019)، تنسّق شراكة الذكاء الاصطناعي (Partnership on AI) الجهود عبر مجموعات من أصحاب المصلحة في مجتمع تعلم الآلة لتطوير أدوات توثيق شاملة وقابلة للتوسع لأنظمة تعلم الآلة.

تطوّر بطاقات النماذج

منذ اقتراح بطاقات النماذج من قبل ميتشل وآخرون في عام 2018، اعتمدت بطاقات النماذج وتكيّفت من قِبل منظمات متنوعة، بما في ذلك شركات التكنولوجيا الكبرى والشركات الناشئة التي تُطوّر وتستضيف نماذج تعلّم الآلة[^5]، والباحثين الذين يصفون تقنيات جديدة[^6]، وأصحاب المصلحة الحكوميين الذين يقيّمون النماذج لمشاريع مختلفة[^7]. كما تظهر بطاقات النماذج كجزء من حقائب الأدوات التعليمية لأخلاقيات الذكاء الاصطناعي، وقد أنشأت منظمات ومطوّرون كثيرون تطبيقات لأتمتة أو شبه أتمتة إنشاء بطاقات النماذج. يقدّم الملحق أ مجموعة من الأمثلة على بطاقات النماذج لأنواع مختلفة من نماذج تعلّم الآلة التي أنشأتها منظمات مختلفة (بما في ذلك بطاقات النماذج لنماذج اللغة الكبيرة)، وأدوات توليد بطاقات النماذج، وأدوات تعليمية لبطاقات النماذج.

بطاقات النماذج على مركز هانغينغ ف

منذ عام 2018، ظهرت منصات ووسائط جديدة لاستضافة بطاقات النماذج ومشاركتها. على سبيل المثال، وبما أنه ذو صلة وثيقة بهذا المشروع، تستضيف Hugging Face بطاقات النماذج على Hugging Face Hub على شكل ملفات README في المستودعات المرتبطة بنماذج التعلم الآلي. ونتيجةً لذلك، تُعد بطاقات النماذج شكلاً بارزاً من أشكال التوثيق لمستخدمي النماذج على Hugging Face Hub. وكجزء من تحليلنا لبطاقات النماذج، قمنا بتطوير واقتراح بطاقات نماذج لعشرات النماذج الخاصة بالتعلم الآلي على Hugging Face Hub، مستخدمين ميزات طلبات الدمج (PR) والمناقشات في Hub لجمع الملاحظات حول بطاقات النماذج، والتحقق من المعلومات الواردة في بطاقات النماذج، ونشر بطاقات النماذج للنماذج الموجودة على Hugging Face Hub. وفي وقت كتابة هذا الدليل، تمتلك جميع نماذج Hugging Face على Hugging Face Hub بطاقة نموذج مرتبطة بها على Hub[^8].

أمكننا، بفضل العدد الكبير من النماذج المرفوعة إلى Hugging Face Hub (101,041 نموذجًا عند كتابة هذا النص)، استكشاف المحتوى الموجود داخل بطاقات النماذج على المنصة: بدأنا بتحليل بطاقات نماذج اللغة، بهدف تحديد الأنماط (مثل الأقسام والفرع المتكررة)، مع السعي للإجابة عن أسئلة أولية مثل:

1) كم من هذه النماذج لديها بطاقات نماذج؟

2) ما نسبة التحميلات التي كانت مرتبطة ببطاقة نموذج؟

من تحليلنا لجميع النماذج على المنصة، لاحظنا أن معظم عمليات التحميل تأتي من أفضل 200 نموذج.

مع استمرار التركيز على نماذج اللغة الكبيرة، مرتبةً حسب الأكثر تحميلًا، وبالنظر فقط إلى النماذج التي تتضمن بطاقات نموذج في البداية، لاحظنا الأقسام الأكثر تكرارًا داخل بطاقات النماذج الخاصة بها.

قد تختلف بعض العناوين داخل بطاقات النماذج من نموذج إلى آخر، لكننا قمنا بتجميع المكونات/الموضوع الخاص بكل قسم داخل كل بطاقة نموذج، ثم قمنا بربطها بعناوين الأقسام الأكثر تكراراً (والتي وُجدت في الغالب ضمن النماذج الـ 200 الأكثر تحميلًا، ومع مساعدة/إرشاد بطاقة نموذج Bloom)

اطّلع على دراسات المستخدمين

انظر إلى الملاحق

[^1]: لكل أداة، تم اقتباس الأوصاف من الورقة البحثية المرتبطة المذكورة في العمود الثاني.

[^2]: راجع https://techpolicylab.uw.edu/data-statements/ .

[^3]: راجع https://techpolicylab.uw.edu/data-statements/ .

[^4]: راجع https://techpolicylab.uw.edu/data-statements/ .

[^5]: انظر، على سبيل المثال، إلى Hugging Face Hub وبطاقات النماذج الخاصة بـ Google Cloud https://modelcards.withgoogle.com/about .

[^6]: انظر الملحق أ.

[^7]: انظر إلى تعاون GSA / مكتب التعداد الأمريكي على مولّد بطاقة النموذج.

[^8]: عندما نقول "نماذج Hugging Face"، فإننا نعني النماذج التي شاركها Hugging Face، وليس منظمة أخرى، على Hub. بشكل رسمي، هذه هي النماذج التي لا تحتوي معرّف النموذج الخاص بها على رمز '/'.

---

يُرجى الاستشهاد بها على النحو التالي: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub