机器学习文档工具全景

2018 年模型卡片框架的开发受到了自然语言处理数据声明（Bender & Friedman, 2018）和数据集数据表（Gebru et al., 2018）这两项主要文档框架工作的启发。自模型卡片被提出以来，已有许多其他工具被提出，用于记录和评估机器学习开发周期的各个方面。这些工具（包括模型卡片以及模型卡片提出之前提出的相关文档工作）可以根据其关注点（例如，该工具关注机器学习系统生命周期的哪个部分？）和目标受众（例如，该工具是为谁设计的？）进行定位。在下方的图 1-2 中，我们沿这些维度总结了几个著名的文档工具，提供了每个工具的背景描述，并链接到示例。我们将这些文档工具大致归类为以下组别：

• 以数据为中心，包括专注于机器学习系统生命周期中使用的数据集的文档工具
• 以模型和方法为重点，包括专注于机器学习和方法的文档工具；以及
• 以系统为核心，包括专注于 ML 系统的文档工具，涵盖模型、方法、数据集、API 以及作为 ML 系统一部分相互交互的非 AI/ML 组件

这些分类并非互斥，它们涵盖了机器学习系统生命周期中相互重叠的方面。例如，system cards 侧重于记录可能包含多个模型和数据集的机器学习系统，因此其内容可能与以数据为中心或以模型为中心的文档工具存在重叠。文中描述的工具是机器学习系统生命周期文档工具的非穷尽列表。总体而言，我们纳入了符合以下条件的工具：

• 专注于机器学习系统生命周期中某些（或多个）方面的文档
• 包含了一个旨在供重复使用、采用和改编的模板的发布

机器学习文档工具概览

图 1

机器学习系统生命周期阶段	工具	简要描述	示例
数据	数据表 (Gebru et al., 2018)	“我们建议每个数据集都应附带一份数据表，记录其动机、创建过程、组成、预期用途、分发方式、维护情况及其他相关信息。”	例如，参见 Ivy Lee 的仓库，其中包含示例
数据	数据声明 (Bender & Friedman, 2018)(Bender et al., 2021)	“数据声明是对数据集的描述，它提供了背景信息，帮助开发者和用户更好地理解实验结果可能如何推广、软件应如何适当部署，以及基于该软件构建的系统可能反映出哪些偏见。”	参见 NLP Workshop 的数据声明
数据	数据集营养标签 (Holland et al., 2018)	“数据集营养标签……是一种诊断框架，通过在 AI 模型开发之前提供数据集“成分”的浓缩且全面的概述，降低了标准化数据分析的门槛。”	参见 数据营养标签
数据	NLP 数据卡片 (McMillan-Major et al., 2021)	“我们介绍了两个在自然语言处理（NLP）中创建文档模板和指南的案例研究：Hugging Face (HF) 数据集中心[^1] 以及生成及其评估与指标（GEM）基准。在这两种情况下，我们都使用术语 data card 来指代数据集的文档。	参见 (McMillan-Major et al., 2021)
数据	数据集开发生命周期文档框架 (Hutchinson et al., 2021)	“我们提出了一个严格的框架，用于数据集开发的透明度，以支持决策和问责。该框架利用数据集开发的循环性、基础设施性和工程性，借鉴了软件开发生命周期中的最佳实践。”	请参阅 (Hutchinson et al., 2021) 附录 A 中的模板
数据	数据卡片 (Pushkarna et al., 2021)	“数据卡片（Data Cards）是关于机器学习数据集各个方面的关键事实的结构化摘要，供数据集生命周期中各利益相关方在负责任的人工智能开发中使用。这些摘要解释了塑造数据并进而影响模型的过程及其背后的依据。”	参见 Data Cards Playbook github
数据	CrowdWorkSheets (Díaz et al., 2022)	“我们提出了一种新颖的框架 CrowdWorkSheets，旨在帮助数据集开发者在数据标注流水线的各个阶段——包括任务定义、标注者选择、平台与基础设施选择、数据集分析与评估，以及数据集发布与维护——对关键决策点进行透明化的文档记录。”	参见 (Díaz et al., 2022)
模型与方法	模型卡片 Mitchell et al. (2018)	“模型卡是伴随训练好的机器学习模型的简短文档，提供在多种与预期应用领域相关的条件下的基准评估……模型卡还披露了模型预期使用的上下文、性能评估程序的详细信息以及其他相关信息。”	参见 https://huggingface.co/models、Model Card Guidebook 和 Model Card Examples
模型与方法	价值卡片 Shen et al. (2021)	“我们提出了 Value Cards，一个以审议为核心的工具包，旨在帮助计算机科学的学生和从业者认识到基于机器学习的决策系统所带来的社会影响……Value Cards 鼓励对不同的机器学习性能指标及其潜在权衡进行调查和辩论。”	参见 Shen et al. (2021) 第 3.3 节
模型与方法	方法卡片 Adkins et al. (2022)	“我们提出了方法卡片，以引导机器学习工程师完成模型开发流程……这些信息包含规定性和描述性要素，重点在于确保机器学习工程师能够正确使用这些方法。”	参见 Adkins et al. (2022)，附录 A
模型与方法	面向消费者的机器学习模型标签 Seifert et al. (2019)	“我们建议为经过训练并发布的机器学习模型发布消费者标签。这些标签主要面向机器学习领域的非专业人士，例如机器学习系统的运营人员、决策的执行者以及决策对象本身。”	参见 Seifert 等人 (2019)
系统	事实表 Arnold et al. (2019)	“事实表将包含 AI 服务所有相关属性的章节，例如预期用途、性能、安全性和安全性。性能部分将包括适当的准确性或风险指标以及计时信息。”	参见 IBM 的 AI Factsheets 360 和 Hind et al., (2020)
系统	系统卡片 Procope et al. (2022)	“System Cards 旨在提高机器学习系统的透明度，通过向利益相关者提供机器学习系统不同组件的概述、这些组件之间的交互方式，以及系统如何使用不同的数据和受保护信息。”	参见 Meta 的 Instagram 信息流排序系统卡片
系统	用于强化学习的奖励报告 Gilbert et al. (2022)	“我们提出了一个用于记录已部署学习系统的框架，我们称之为 Reward Reports……我们将 Reward Reports 描述为一种动态文档，用于跟踪特定自动化系统优化目标背后的设计决策和假设的更新。其目的是跟踪系统部署过程中产生的动态现象，而不仅仅是模型或数据的静态属性。”	参见 https://rewardreports.github.io
系统	Robustness Gym Goel et al. (2021)	“我们指出了评估自然语言处理（NLP）系统时面临的挑战，并提出了一种解决方案：鲁棒性训练场（Robustness Gym，简称 RG）。这是一个简单且可扩展的评估工具包，统一了四种标准评估范式：子群体、变换、评估集和对抗攻击。”	参见 https://github.com/robustness-gym/robustness-gym
系统	关于机器学习 Raji 和 Yang，(2019)	“ABOUT ML（机器学习生命周期理解与透明度的标注与基准测试）是由 PAI 主导的一项多年期、多利益相关方倡议。该倡议旨在汇集多元化的观点，以大规模开发、测试和实施机器学习系统的文档实践。”	参见 关于 ML 的资源库

数据聚焦的文档工具

许多已提出的文档工具专注于机器学习系统生命周期中使用的数据集，包括作为持续循环的一部分，用于训练、开发、验证、微调和评估机器学习模型的数据集。这些工具通常关注数据生命周期的诸多方面（可能针对特定数据集、一组数据集，或更广泛的范围），包括数据是如何组装、收集和标注的，以及应如何使用这些数据。

• 借鉴电子行业中数据表（datasheets）的概念，Gebru 等人（2018） 提出了数据集数据表，用于记录与数据集的创建、潜在用途及相关顾虑相关的详细信息。
• Bender 和 Friedman（2018） 为自然语言处理提出了数据声明。Bender、Friedman 和 McMillan-Major（2021） 更新了原始的数据声明框架，并提供了相关资源，包括一份撰写数据声明的指南，以及用于在模式的第一版与较新版本之间进行转换的资源[^2]。
• Holland 等人（2018）提出了数据营养标签，类似于食品的营养成分表和隐私披露的营养标签，作为分析和决策数据集的工具。数据营养标签团队于 2020 年发布了该标签的更新设计和界面（Chmielinski 等人，2020）。
• McMillan-Major 等人（2021）描述了NLP 数据卡片的开发过程及其生成的模板，这些模板以 Hugging Face Hub 上的数据卡片[^3]以及作为生成及其评估指标（GEM）环境[^4]中 NLP 基准一部分的数据集数据卡片的形式呈现。
• Hutchinson 等人（2021）阐述了全面记录数据集的必要性，并借鉴软件开发实践，提供了用于记录数据集开发生命周期多个方面的模板（为了表 1 和表 2 的目的，我们将他们的框架称为数据集开发生命周期文档框架）。
• Pushkarna 等人（2021）提出了数据卡片，作为数据卡片手册的一部分。这是一种以人为中心的文档工具，专注于工业界和科研中使用的数据集。

以模型和方法为重点的文档工具

另一组文档工具可以被视为专注于机器学习和机器学习方法。这些工具包括：

• Mitchell 等人（2018）提出了用于模型报告的model cards，以随附于训练好的 ML 模型，并记录与评估、使用及其他问题相关的事项

• Shen 等人（2021）提出了价值卡片，用于向学生和从业者介绍与 ML 模型相关的价值观

• Seifert et al. (2019) 提出了 ML 模型的消费者标签，以帮助使用或受模型影响的非专家理解与模型相关的关键问题。

• Adkins 等人（2022）分析了描述性文档工具的各个方面——他们认为这些工具包括模型卡片和数据表——并主张为机器学习工程师提供更多规范性工具。他们提出了方法卡片，专注于机器学习方法，其设计主要面向模型开发者和评审者等技术利益相关者。

  • 他们部分地通过以下表述来构想模型卡与方法卡之间的关系：“我们在……[方法卡模板]中提出的章节和提示……[聚焦于]足以生成具有明确输入、输出和任务的适当机器学习模型的机器学习方法。这些方法的示例包括单阶段检测器（Single-shot Detectors）等目标检测方法，以及生成式预训练 Transformer（GPT）等语言建模方法。可以使用这些方法创建的模型来创建模型卡。”

  • 他们还指出：“虽然模型卡片（Model Cards）和事实表（FactSheets）主要侧重于记录现有模型，但方法卡片（Method Cards）更侧重于在创建和训练这些模型时需要考虑的底层方法论和算法选择。粗略地打个比方，如果模型卡片和事实表提供了烹饪好的菜肴的营养信息，那么方法卡片则提供了食谱。”

面向系统的文档工具

与聚焦于特定模型、数据集或方法不同，以系统为核心的文档工具关注的是模型如何相互交互，以及如何与数据集、方法和其他机器学习组件协同工作，从而构成机器学习系统。

• Procope 等人（2022）提出了系统卡片，用于记录和解释 AI 系统——这些系统可能包含多个 ML 模型、AI 工具以及非 AI 技术——它们协同工作以完成任务。
• Arnold 等人（2019）将消费品符合性声明的概念扩展到 AI 服务，提出使用 FactSheets 来记录“AI 服务”的各个方面，这些服务通常通过 API 访问，并且可能由多个不同的 ML 模型组成。Hind 等人（2020）分享了关于构建 factsheets 的思考。
• Gilbert et al. (2022) propose Reward Reports for Reinforcement Learning systems, recognizing the dynamic nature of ML systems and the need for documentation efforts to incorporate considerations of post-deployment performance, especially for reinforcement learning systems.
• Goel 等人 (2021) 开发了 Robustness Gym，这是一个用于测试真实世界系统中深度神经网络多个方面的评估工具包，支持在不同评估范式之间进行比较。
• 通过ABOUT ML 项目（Raji and Yang, 2019），Partnership on AI 正在协调机器学习社区中各利益相关者群体的工作，以开发面向 ML 系统的全面且可扩展的文档工具。

模型卡片的演变

自 Mitchell 等人于 2018 年提出模型卡（model cards）提案以来，模型卡已被各类组织采纳并加以调整，包括开发和托管机器学习模型的主要科技公司和初创企业[^5]、描述新技术的研究人员[^6]，以及为各类项目评估模型的政府利益相关方[^7]。模型卡也作为 AI 伦理教育工具包的一部分出现，众多组织和开发者已创建了用于自动化或半自动化生成模型卡的实现方案。附录 A 提供了一组由不同组织创建的各种类型 ML 模型的模型卡示例（包括大型语言模型的模型卡）、模型卡生成工具以及模型卡教育工具。

HUGGING FACE HUB 上的模型卡

自 2018 年以来，用于托管和共享模型卡的新平台和媒介也相继出现。例如，与本项目尤为相关的是，Hugging Face 在 Hugging Face Hub 上以 README 文件的形式托管模型卡，这些文件位于与机器学习模型关联的仓库中。因此，模型卡已成为 Hugging Face Hub 上模型用户的一种重要文档形式。作为模型卡分析工作的一部分，我们针对 Hugging Face Hub 上的数十个机器学习模型开发并提出了模型卡，利用 Hub 的 Pull Request (PR) 和 Discussion 功能来收集关于模型卡的反馈、核实模型卡中包含的信息，并发布 Hugging Face Hub 上模型的模型卡。在本指南撰写之时，Hugging Face 在 Hugging Face Hub 上的所有模型均已在 Hub 上拥有相应的模型卡[^8]。

Hugging Face Hub 上上传的模型数量庞大（撰写本文时已达 101,041 个），这使我们能够探索 Hub 上模型卡片中的内容： 我们首先分析了语言模型的模型卡片，以识别其中的模式（例如重复出现的章节和子章节），旨在回答诸如以下初始问题：

1) 这些模型中有多少个拥有模型卡片？

2) 有多少比例的下载关联了模型卡片？

根据我们对 Hub 上所有模型的分析，我们发现最多的下载量来自排名前 200 的模型。

在持续关注大型语言模型的前提下，我们按下载量排序，并仅选取本身带有模型卡片的模型，记录了其各自模型卡片中最常出现的章节。

尽管不同模型卡片中的某些标题可能有所不同，但我们根据每个模型卡片中各部分的组件/主题进行了分组，然后将它们映射到出现频率最高的章节标题（主要参考了下载量排名前 200 的模型，并借助 Bloom 模型卡片作为指导）。

查看用户研究

参见附录

[^1]: 对于每个工具，描述均摘自第二列中列出的相关论文。

[^2]: 参见 https://techpolicylab.uw.edu/data-statements/ 。

[^3]: 参见 https://techpolicylab.uw.edu/data-statements/ 。

[^4]: 参见 https://techpolicylab.uw.edu/data-statements/ 。

[^5]: 例如，参见 Hugging Face Hub 和 Google Cloud 的 Model Cards https://modelcards.withgoogle.com/about 。

[^6]: 参见附录 A。

[^7]: 参见 GSA / 美国人口普查局关于模型卡生成器的合作。

[^8]: 此处“Hugging Face 模型”指的是由 Hugging Face 而非其他组织在 Hub 上共享的模型。从形式上讲，这些模型的 model ID 中不包含“/”。

---

请引用为： Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub