ML DOKÜMANTASYON ARAÇLARININ MANZARASI

2018'de model kartları çerçevesinin geliştirilmesi, Doğal Dil İşleme için Veri Beyanları (Bender & Friedman, 2018) ve Veri Setleri için Veri Föyleri (Gebru et al., 2018) gibi önemli dokümantasyon çerçevesi çalışmalarından ilham almıştır. Model kartları önerildiğinden bu yana, makine öğrenmesi geliştirme döngüsünün çeşitli yönlerini belgelemek ve değerlendirmek için bir dizi başka araç önerilmiştir. Model kartları ve model kartlarından önce önerilen ilgili dokümantasyon çalışmaları dahil olmak üzere bu araçlar, odak noktalarına (ör. aracın ML sistem yaşam döngüsünün hangi kısmına odaklandığı?) ve hedef kitlelerine (ör. aracın kimler için tasarlandığı?) göre bağlamlandırılabilir. Aşağıdaki Şekil 1-2'de, bu boyutlar boyunca öne çıkan birkaç dokümantasyon aracını özetliyor, her bir aracın bağlamsal açıklamalarını sunuyor ve örneklerine bağlantı veriyoruz. Dokümantasyon araçlarını genel olarak aşağıdaki gruplara ait olarak sınıflandırıyoruz:

• Veri odaklı, makine öğrenimi sistem yaşam döngüsünde kullanılan veri setlerine odaklanan dokümantasyon araçları dahil
• Modeller ve yöntemler odaklı, makine öğrenimi modelleri ve yöntemlerine odaklanan dokümantasyon araçları dahil; ve
• Sistem odaklı, ML sistemlerine odaklanan dokümantasyon araçları dahil; modeller, yöntemler, veri setleri, API'ler ve bir ML sisteminin parçası olarak birbirleriyle etkileşime giren yapay zeka/ML dışı bileşenler

Bu gruplamalar birbirini dışlamaz; ML sistem yaşam döngüsünün örtüşen yönlerini de içerirler. Örneğin, system cards, birden fazla model ve veri seti içerebilen ML sistemlerini belgelemeye odaklanır ve bu nedenle veri odaklı veya model odaklı belgeleme araçlarıyla örtüşen içerikler içerebilir. Tanımlanan araçlar, ML sistem yaşam döngüsü için belgeleme araçlarının tükenmez bir listesidir. Genel olarak, aşağıdaki özelliklere sahip araçları dahil ettik:

• ML sistem yaşam döngüsünün bazı (veya birden fazla) yönlerinin belgelenmesine odaklanmıştır
• Tekrar tekrar kullanım, benimseme ve uyarlanma amacıyla tasarlanmış bir şablonun yayınlanmasını içerir

ML Dokümantasyon Araçları Özeti

Şekil 1

ML Sistemi Yaşam Döngüsü Aşaması	Araç	Kısa Açıklama	Örnekler
VERİ	Veri föyleri (Gebru et al., 2018)	“Her veri setinin, motivasyonunu, oluşturulma sürecini, bileşimini, planlanan kullanım alanlarını, dağıtımını, bakımını ve diğer bilgileri belgeleyen bir veri sayfasıyla birlikte sunulmasını öneriyoruz.”	Örneğin, örneklerle birlikte Ivy Lee’nin deposu
VERİ	Veri Beyanları (Bender & Friedman, 2018)(Bender et al., 2021)	“Veri beyanı, bir veri setinin karakterizasyonudur ve geliştiricilerin ve kullanıcıların deneysel sonuçların nasıl genellenebileceğini, yazılımın nasıl uygun bir şekilde dağıtılacağını ve yazılım üzerine kurulan sistemlerde hangi önyargıların yansıtılabileceğini daha iyi anlamalarına olanak tanıyan bir bağlam sağlar.”	NLP Atölyesi için Veri Beyanları'na bakın
VERİ	Veri Seti Besin Etiketleri (Holland et al., 2018)	“Veri Seti Besin Değeri Etiketi… yapay zeka modeli geliştirilmeden önce veri seti “malzemelerinin” damıtılmış ancak kapsamlı bir özetini sunarak standartlaştırılmış veri analizi için engeli düşüren bir tanısal çerçevedir.”	Veri Besin Değeri Etiketi'ne bakın
VERİ	NLP için Veri Kartları (McMillan-Major et al., 2021)	Doğal dil işleme (NLP) alanında dokümantasyon şablonları ve kılavuzlar oluşturmaya yönelik iki vaka çalışması sunuyoruz: Hugging Face (HF) veri seti merkezi[^1] ve Generation and its Evaluation and Metrics (GEM) benchmark'ı. Her iki durumda da veri setlerine ait dokümantasyonu ifade etmek için data card terimini kullanıyoruz.	Bkz. (McMillan-Major et al., 2021)
VERİ	Veri Seti Geliştirme Yaşam Döngüsü Belgeleme Çerçevesi (Hutchinson ve ark., 2021)	“Karar alma ve hesap verebilirliği destekleyen, veri seti geliştirme şeffaflığı için titiz bir çerçeve sunuyoruz. Çerçeve, veri seti geliştirme sürecinin döngüsel, altyapısal ve mühendislik doğasından yararlanarak yazılım geliştirme yaşam döngüsündeki en iyi uygulamalara başvurur.”	Şablonlar için (Hutchinson et al., 2021) makalesinin A Eklenti'sine bakın
VERİ	Veri Kartları (Pushkarna et al., 2021)	“Veri Kartları, sorumlu yapay zeka geliştirme için bir veri setinin yaşam döngüsü boyunca paydaşların ihtiyaç duyduğu, ML veri setlerinin çeşitli yönlerine ilişkin temel olguların yapılandırılmış özetleridir. Bu özetler, veriyi ve dolayısıyla modelleri şekillendiren süreçlerin ve gerekçelerin açıklamalarını sunar.”	Data Cards Playbook github'ye bakın
VERİ	CrowdWorkSheets (Díaz ve ark., 2022)	“Veri seti geliştiricilerinin, veri etiketleme hattının çeşitli aşamalarındaki (görev formülasyonu, etiketleyici seçimi, platform ve altyapı tercihleri, veri seti analizi ve değerlendirmesi, veri seti yayınlama ve bakımı) ana karar noktalarının şeffaf bir şekilde belgelenmesini kolaylaştırmak için CrowdWorkSheets adında yeni bir çerçeve sunuyoruz.”	Bkz. (Díaz et al., 2022)
MODELLER VE YÖNTEMLER	Model Kartları Mitchell et al. (2018)	“Model kartları, eğitim görmüş makine öğrenme modellerini eşlik eden ve hedeflenen uygulama alanlarıyla ilgili çeşitli koşullarda ölçülmüş değerlendirmeler sunan kısa belgelerdir… Model kartları ayrıca modellerin kullanılmak üzere tasarlandığı bağlamı, performans değerlendirme prosedürlerinin ayrıntılarını ve diğer ilgili bilgileri açıklar.”	https://huggingface.co/models, Model Card Guidebook ve Model Card Examples adreslerine göz atın
MODELLER VE YÖNTEMLER	Değer Kartları Shen et al. (2021)	“Value Cards, makine öğrenmesine dayalı karar verme sistemlerinin toplumsal etkilerine ilişkin farkındalığı bilgisayar bilimi öğrencilerine ve uygulayıcılara kazandırmak için tasarlanmış, tartışma odaklı bir araç kitidir….Value Cards, farklı ML performans metrikleri ve bunların potansiyel ödünleşimlerine yönelik araştırmaları ve tartışmaları teşvik eder.”	Bkz. Shen et al. (2021), Bölüm 3.3
MODELLER VE YÖNTEMLER	Yöntem Kartları Adkins et al. (2022)	“ML mühendislerini model geliştirme sürecinde yönlendirmek için yöntem kartları öneriyoruz… Bilgi, hem yönlendirici hem de betimleyici unsurları içerir ve ana odak noktası, ML mühendislerinin bu yöntemleri doğru bir şekilde kullanabilmesini sağlamaktır.”	Bkz. Adkins et al. (2022), Ek A
MODELLER VE YÖNTEMLER	ML Modelleri için Tüketici Etiketleri Seifert et al. (2019)	“Eğitilmiş ve yayımlanmış ML modelleri için tüketici etiketleri yayımlamayı öneriyoruz. Bu etiketler, bir ML sisteminin operatörleri, kararların uygulayıcıları ve kararın kendilerine yönelik alındığı kişiler gibi makine öğrenmesi alanındaki uzman olmayan kişileri esas olarak hedefler”	Bkz. Seifert et al. (2019)
SİSTEMLER	Bilgi Föyleri Arnold et al. (2019)	“Bir FactSheet, bir yapay zeka hizmetinin tüm ilgili özelliklerine ilişkin bölümler içerecektir; bunlar arasında öngörülen kullanım, performans, güvenlik ve emniyet yer alır. Performans, uygun doğruluk veya risk ölçütlerinin yanı sıra zamanlama bilgilerini de içerecektir.”	IBM AI Factsheets 360 ve Hind ve ark., (2020) kaynaklarına bakın
SİSTEMLER	Sistem Kartları Procope et al. (2022)	“System Cards, bir ML sisteminin farklı bileşenlerinin genel bir görünümünü, bu bileşenlerin nasıl etkileşime girdiğini ve sistemin farklı veri parçaları ile korunan bilgileri nasıl kullandığını paydaşlara sunarak ML sistemlerinin şeffaflığını artırmayı amaçlar.”	Meta’nın Instagram Akış Sıralama Sistemi Kartı’na bakın
SİSTEMLER	RL için Ödül Raporları Gilbert et al. (2022)	“Dağıtılmış öğrenme sistemlerini belgelemek için bir çerçeve çiziyoruz; buna Ödül Raporları diyoruz… Ödül Raporlarını, belirli bir otomatik sistemin neyi optimize ettiğinin arkasındaki tasarım tercihlerindeki ve varsayımlardaki güncellemeleri izleyen yaşayan belgeler olarak tanımlıyoruz. Bunlar, modellerin veya verilerin yalnızca statik özelliklerini değil, sistem dağıtımından kaynaklanan dinamik olguları izlemek üzere tasarlanmıştır.”	https://rewardreports.github.io adresine bakın
SİSTEMLER	Robustness Gym Goel et al. (2021)	“NLP sistemlerini değerlendirirken karşılaşılan zorlukları belirliyor ve dört standart değerlendirme paradigmini birleştiren, basit ve genişletilebilir bir değerlendirme araç seti olan Robustness Gym (RG) biçiminde bir çözüm öneriyoruz: alt popülasyonlar, dönüşümler, değerlendirme kümeleri ve advers saldırılar.”	https://github.com/robustness-gym/robustness-gym adresine bakın
SİSTEMLER	ML HAKKINDA Raji ve Yang, (2019)	“ABOUT ML (Makine Öğrenimi Yaşam Döngülerinin Anlaşılması ve Şeffaflığı Üzerinde Etiketleme ve Ölçümleme), PAI tarafından yürütülen çok yıllık ve çok paydaşlı bir girişimdir. Bu girişim, makine öğrenimi sistemleri dokümantasyon uygulamalarının ölçekli olarak geliştirilmesi, test edilmesi ve uygulanması için çeşitli bakış açılarını bir araya getirmeyi amaçlamaktadır.”	ML’nin kaynak kütüphanesi hakkında bilgi edinin

VERİ ODAKLI BELGELEME ARAÇLARI

Önerilen çeşitli dokümantasyon araçları, sürekli döngülerin bir parçası olarak makine öğrenimi modellerinin eğitimi, geliştirilmesi, doğrulanması, ince ayarının yapılması ve değerlendirilmesinde kullanılan veri setlerine odaklanmaktadır. Bu araçlar genellikle veri yaşam döngüsünün birçok yönüne (belki de belirli bir veri seti, veri seti grubu veya daha geniş bir kapsam için) odaklanmakta olup, verilerin nasıl derlendiğini, toplandığını, etiketlendiğini ve nasıl kullanılması gerektiğini kapsamaktadır.

• Elektronik endüstrisindeki veri föyleri (datasheet) kavramını genişleterek, Gebru ve ark. (2018) bir veri setinin oluşturulması, olası kullanım alanları ve ilgili endişelerle ilgili ayrıntıları belgelemek amacıyla veri setleri için veri föyleri önermektedir.
• Bender ve Friedman (2018), doğal dil işleme için veri beyanları önermektedir. Bender, Friedman ve McMillan-Major (2021), orijinal veri beyanları çerçevesini günceller ve şemanın ilk sürümü ile yeni sürüm arasında çeviri dahil olmak üzere, veri beyanları yazma kılavuzu gibi kaynaklar sağlar[^2].
• Holland ve ark. (2018), veri setleri hakkında analiz yapma ve karar verme aracı olarak, gıdalardaki besin değerleri ve gizlilik açıklamalarındaki etiketlere benzer şekilde veri beslenme etiketlerini önermektedir. Data Nutrition Label ekibi, 2020'de etiketin güncellenmiş tasarımını ve arayüzünü yayımlamıştır (Chmielinski ve ark., 2020).
• McMillan-Major et al. (2021), NLP için veri kartları geliştirme sürecini ve sonuçta elde edilen şablonları, Hugging Face Hub[^3] üzerindeki veri kartları biçiminde ve Generation and its Evaluation Metrics (GEM) ortamının[^4] bir parçası olan veri setleri için veri kartları olarak açıklamaktadır.
• Hutchinson ve ark. (2021), kapsamlı veri seti dokümantasyonuna duyulan ihtiyacı ele alır ve yazılım geliştirme uygulamalarından yararlanarak, veri seti geliştirme yaşam döngüsünün çeşitli yönlerini belgelemek için şablonlar sunar (Tablo 1 ve Tablo 2'nin amaçları için, bu çerçeveye Dataset Development Lifecycle Documentation Framework olarak atıfta bulunuyoruz).
• Pushkarna et al. (2021), endüstri ve araştırmada kullanılan veri setlerine odaklanan, insan odaklı bir dokümantasyon aracı olan data card playbook'un bir parçası olarak veri kartlarını önermektedir.

MODEL VE YÖNTEM ODAKLI BELGELEME ARAÇLARI

Bir diğer dokümantasyon araçları seti, makine öğrenimi modellerine ve makine öğrenimi yöntemlerine odaklandığı düşünülebilir. Bunlar şunları içerir:

• Mitchell et al. (2018), eğitimli ML modellerini eşlik eden ve değerlendirme, kullanım ve diğer konularla ilgili sorunları belgeleyen model kartları önermektedir.

• Shen ve ark. (2021), ML modelleriyle ilgili değerler hakkında öğrencilere ve uygulayıcılara eğitim vermek için değer kartları önermektedir

• Seifert et al. (2019), modeli kullanan veya modelden etkilenen uzman olmayan kişilerin modelle ilgili temel konuları anlamasına yardımcı olmak için ML modelleri için tüketici etiketleri önermektedir.

• Adkins ve ark. (2022), model kartları ve veri föylerini kapsadığını düşündükleri betimleyici dokümantasyon araçlarının çeşitli yönlerini analiz eder ve ML mühendisleri için daha preskriptif araçlar gerektiğini savunur. Teknik paydaşlar olan model geliştiricileri ve inceleme uzmanları gibi kişileri esas alarak, ML yöntemlerine odaklanan yöntem kartları önerirler.

  • Model kartları ile yöntem kartları arasındaki ilişkiyi, kısmen şu ifadeyle tasavvur ediyorlar: “Önerdiğimiz bölümler ve istekler… [yöntem kartı şablonunda] tanımlı girdi, çıktı ve görevlere sahip uygun bir ML modeli üretmek için yeterli olan ML yöntemlerine odaklanmaktadır. Bunlara örnek olarak Single-shot Detectors gibi nesne algılama yöntemleri ve Generative Pre-trained Transformers (GPT) gibi dil modelleme yöntemleri verilebilir. Bu yöntemler kullanılarak oluşturulan modeller için Model Kartları oluşturulabilir.”

  • Ayrıca, “Model Cards ve FactSheets mevcut modellerin belgelenmesine odaklanırken, Method Cards bu modellerin oluşturulması ve eğitilmesi sırasında dikkate alınması gereken altta yatan yöntemsel ve algoritmik seçimlere daha fazla odaklanır. Kaba bir benzetmeyle, Model Cards ve FactSheets pişmiş yemeklerin besin değerlerini sağlarken, Method Cards tarifleri sağlar.”

SİSTEM ODAKLI BELGELEME ARAÇLARI

Belirli modeller, veri kümeleri veya yöntemlere odaklanmak yerine, sistem odaklı dokümantasyon araçları, modellerin birbirleriyle, veri kümeleriyle, yöntemlerle ve diğer ML bileşenleriyle nasıl etkileşime girerek ML sistemleri oluşturduğunu inceler.

• Procope ve ark. (2022), görevleri gerçekleştirmek için birlikte çalışan yapay zeka sistemlerini – birden fazla makine öğrenimi modeli, yapay zeka araçları ve yapay zeka dışı teknolojileri içerebilecek şekilde – belgelemek ve açıklamak için sistem kartları önermektedir.
• Arnold ve ark. (2019), tüketici ürünleri için uygunluk beyanları fikrini yapay zeka hizmetlerine genişleterek, genellikle API'ler aracılığıyla erişilen ve birden fazla farklı ML modelinden oluşabilecek “yapay zeka hizmetleri”nin çeşitli yönlerini belgelemek için FactSheets önermektedir. Hind ve ark. (2020), factsheet oluşturma sürecine dair düşüncelerini paylaşmaktadır.
• Gilbert ve ark. (2022), makine öğrenimi sistemlerinin dinamik doğasını ve özellikle pekiştirmeli öğrenme sistemleri için dağıtım sonrası performansın dikkate alınması gerektiğini kabul ederek, Reward Reports for Reinforcement Learning sistemlerini önermektedir.
• Goel ve ark. (2021), derin sinir ağlarının gerçek dünya sistemlerindeki çeşitli yönlerini test etmek için bir değerlendirme araç seti olan Robustness Gym'i geliştirmiş ve değerlendirme paradigmaları arasında karşılaştırma yapılmasına olanak tanımıştır.
• ABOUT ML projesi (Raji ve Yang, 2019) aracılığıyla, Partnership on AI, makine öğrenmesi topluluğundaki paydaş grupları arasında koordineli bir şekilde, ML sistemleri için kapsamlı ve ölçeklenebilir dokümantasyon araçları geliştirmek üzere çalışmaları yönlendirmektedir.

MODEL KARTLARININ EVRİMİ

Mitchell ve arkadaşlarının 2018'deki model kartı önerisinden bu yana model kartları, makine öğrenimi modelleri geliştiren ve barındıran büyük teknoloji şirketleri ve girişimler[^5], yeni teknikleri tanımlayan araştırmacılar[^6] ve çeşitli projeler için modelleri değerlendiren kamu paydaşları[^7] tarafından benimsenmiş ve uyarlanmıştır. Model kartları, Yapay Zeka Etiği eğitim araç setlerinin bir parçası olarak da yer alır ve sayısız kuruluş ve geliştirici, model kartlarının oluşturulmasını otomatikleştirmek veya yarı otomatikleştirmek için uygulamalar geliştirmiştir. Ek A, farklı kuruluşlar tarafından (büyük dil modelleri için model kartları dahil) çeşitli türlerde ML modelleri için oluşturulan model kartı örnekleri, model kartı oluşturma araçları ve model kartı eğitim araçlarından oluşan bir dizi örnek sunar.

HUGGING FACE HUB'DAKİ MODEL KARTLARI

2018'den bu yana, model kartlarını barındırmak ve paylaşmak için yeni platformlar ve ortamlar da ortaya çıkmıştır. Örneğin, bu projeyle özellikle ilgili olarak, Hugging Face, ML modelleriyle ilişkili depolardaki README dosyaları olarak model kartlarını Hugging Face Hub üzerinde barındırmaktadır. Sonuç olarak, model kartları, Hugging Face Hub'daki model kullanıcıları için öne çıkan bir dokümantasyon biçimi olarak yer almaktadır. Model kartlarının analizinin bir parçası olarak, Hugging Face Hub'daki birkaç düzine ML modeli için model kartları geliştirdik ve önerdik; bu süreçte Hub'ın Pull Request (PR) ve Discussion özelliklerini kullanarak model kartları hakkında geri bildirim topladık, model kartlarında yer alan bilgileri doğruladık ve Hugging Face Hub'daki modeller için model kartlarını yayımladık. Bu kılavuzun yazıldığı sırada, Hugging Face'in Hugging Face Hub'daki tüm modellerinin Hub'da ilişkili bir model kartı bulunmaktadır[^8].

Hugging Face Hub'a yüklenen model sayısının yüksek olması (yazım sırasında 101.041 model), hub'daki model kartlarındaki içeriği incelememizi mümkün kıldı: Hub'daki dil model kartlarını analiz ederek başlamakta fayda gördük; böylece kalıpları (ör. tekrarlanan bölümler ve alt bölümler) belirleyerek şu tür başlangıç sorularına yanıt aramayı hedefledik:

1) Bu modellerden kaçının model kartı var?

2) İndirmelerin yüzde kaçı ilişkili bir model kartına sahipti?

Hub'daki tüm modellerin analizinden, en çok indirmenin ilk 200 modelden geldiğini gözlemledik.

Büyük dil modellerine odaklanmaya devam ederek, en çok indirilen ve başlangıçta model kartlarına sahip olan modelleri sıraladık ve ilgili model kartlarındaki en sık tekrarlanan bölümleri belirledik.

Model kartlarındaki bazı başlıklar modeller arasında farklılık gösterebilir; bu nedenle her model kartındaki bölümlerin bileşenlerini/temalarını gruplayıp bunları en sık tekrarlanan (çoğunlukla en çok indirilen 200 modelde bulunan ve Bloom model kartının yardımı/rehberliğiyle belirlenen) bölüm başlıklarına eşledik.

Kullanıcı Çalışmaları sayfasına göz atın

Eklenti'ye bakın

[^1]: Her araç için açıklamalar, ikinci sütunda listelenen bağlantılı makaleden alıntılanmıştır.

[^2]: https://techpolicylab.uw.edu/data-statements/ adresine bakın.

[^3]: https://techpolicylab.uw.edu/data-statements/ adresine bakın.

[^4]: https://techpolicylab.uw.edu/data-statements/ adresine bakın.

[^5]: Örneğin, Hugging Face Hub, Google Cloud’un Model Kartları https://modelcards.withgoogle.com/about .

[^6]: Ek A'ya bakın.

[^7]: Model Card Generator için GSA / US Census Bureau İş Birliği'ne bakın.

[^8]: “Hugging Face modelleri” derken, Hub üzerinde başka bir kuruluş tarafından değil, Hugging Face tarafından paylaşılan modelleri kastediyoruz. Resmî olarak bunlar, model kimliklerinde “/” içermeyen modellerdir.

---

Lütfen şu şekilde atıf yapın: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub