ماسح طرف ثالث: JFrog

يكتشف ماسح الأمان الخاص بـ JFrog السلوك الخبيث في نماذج التعلم الآلي.

مثال على تقرير لـ danger.dat

لقد تعاوننا مع JFrog لتوفير الفحص من أجل جعل Hub أكثر أمانًا. يتم فحص ملفات النماذج بواسطة مُفحص JFrog، ونعرض نتائج الفحص على واجهة Hub.

صُمم مُسح JFrog بهدف تقليل الإيجابيات الكاذبة. في الواقع، ما نلاحظه حاليًا هو أن الكود الموجود داخل أوزان النموذج ليس ضارًا دائمًا. عند اكتشاف الكود في ملف، يقوم مُسح JFrog بتحليله وفحصه للتحقق من الاستخدامات الضارة المحتملة.

إليك مثالًا على مستودع يمكنك الاطلاع عليه لرؤية الميزة أثناء العمل: mcpotato/42-eicar-street.

تذكير بأمن النموذج

لمشاركة النماذج، نقوم بتسلسل هياكل البيانات التي نستخدمها للتفاعل مع هذه النماذج، وذلك لتسهيل التخزين والنقل. بعض صيغ التسلسل عرضة لاستغلال خطير، مثل تنفيذ الأكواد بشكل تعسفي (ننظر إليك يا pickle)، مما يجعل مشاركة النماذج محفوفة بالمخاطر.

مع تزايد شعبية منصة Hugging Face كموقع لمشاركة النماذج، نود حماية المجتمع من هذه المخاطر، ولهذا السبب طورنا أدوات مثل picklescan وندمج ماسحات الطرف الثالث.

ليس Pickle هو الصيغة القابلة للاستغلال الوحيدة المتوفرة، انظر للمرجع حول كيفية استغلال طبقات Keras Lambda لتحقيق تنفيذ أوامر برمجية تعسفية.

Update on GitHub