TRL documentation
جمع إحصائيات الاستخدام
جمع إحصائيات الاستخدام
يجمع TRL إحصاءات استخدام مجهولة المصدر لمساعدة المُحافظين على فهم المُدرِّبات وهياكل النماذج وتكوينات الأجهزة المستخدمة في بيئات الاستخدام الفعلية. وتُستخدم هذه البيانات لتوجيه قرارات تحديد الأولويات بشأن الميزات التي يجب الاستثمار فيها والميزات التي يجب إيقاف دعمها.
ما يتم جمعه
يُرسل نبضة واحدة (ping) في كل مرة يتم فيها إنشاء مُدرّب (trainer). يحتوي الحمولة (payload) على:
- نسخة TRL (مثل
1.5.0) - اسم فئة Trainer، يُبلَّغ عنه فقط إذا كان مدرّبًا معرّفًا بواسطة TRL (مثل
SFTTrainer،GRPOTrainer). تُبلَّغ فئات الفرع المخصصة من المستخدم على أنهاother. - بنية النموذج، تُبلَّغ فقط إذا كان نوع النموذج معروفًا لدى
transformers(مثلllama،qwen3). تُبلَّغ البنى المخصصة أو الخاصة باسمother. - ما إذا كان PEFT قيد الاستخدام
- كيف تم تحميل مجموعة بيانات التدريب:
hub(تم تنزيلها من Hub)، أوfiles(تم قراءتها عبر منشئ يعتمد على الملفات مثلjsonأوcsv— وهذا يشمل مستودعات Hub التي تحتوي على ملفات json/csv خام)، أوmemory(تم بناؤها داخل العملية، مثلDataset.from_dict)، أوother. لا يتم جمع اسم المسار أو المسار الخاص بالمجموعة أبدًا. - الخلفية الموزعة (
deepspeed،fsdp،ddp، أوnone) - حجم العالم، مُجمَّع (
1،2-8،9-64،65+) - نوع المعالج (
cuda،xpu،npu،mlu،mps،cpu) - اسم نموذج وحدة معالجة الرسوميات (مثل
NVIDIA H100 80GB HBM3)، عند توفره
لا يتم جمع أسماء مجموعات البيانات أو مسارات الملفات أو معرّفات النماذج أو قيم المعاملات الفائقة أو أي بيانات أخرى يوفّرها المستخدم. وكما هو الحال مع أي طلب HTTP، فإن عنوان IP المصدر وترويسات HTTP القياسية مرئية للخادم.
لا يتم إرسال بيانات القياس في بيئات CI (أي عند تعيين متغير البيئة CI)، ولا في الوضع غير المتصل.
كيفية إلغاء الاشتراك
اضبط أحد متغيرات البيئة التالية لتعطيل قياس الأداء:
export HF_HUB_DISABLE_TELEMETRY=1 # disables telemetry for all HF libraries
export HF_HUB_OFFLINE=1 # disables all network calls to the Hubلماذا يساعد ذلك
بدون بيانات الاستخدام، لا يملك المطوّرون أي وسيلة لمعرفة الأجزاء التي تهمّ المستخدمين من المكتبة. تتيح لنا القياسات الإجابة عن أسئلة مثل:
- أيُّ المُدرِّبات (trainers) شائعة الاستخدام على نطاق واسع، وأيُّها يمكن إيقافها بأمان؟
- ما هي معماريات النماذج التي يتم ضبطها بدقة باستخدام TRL بشكل متكرر، حتى نتمكن من إعطاء الأولوية لدعمها؟
- ما هي تراكيب الأجهزة التي يعمل عليها المستخدمون، حتى نتمكن من اختبارها وتحسين الأداء لها؟
إذا وجدت أن TRL مفيد، فإن إبقاء قياسات الأداء مفعّلة هو طريقة منخفضة التكلفة تساعدنا على تحسينه.
Update on GitHub