Hugging Face's logo

Hub documentation

附录

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

附录

附录 A：用户研究

关键问题的完整回答

你会如何定义模型卡片？

洞察：受访者对模型卡片的定义普遍持相似观点：即侧重于训练、用例以及偏见/局限性等问题的文档

  • 模型卡是对模型的描述，包括其训练方式、使用场景以及潜在的偏差和局限性
  • 描述模型基本特征的文档，旨在帮助读者/用户理解其面前的模型工件、其背景/训练过程、使用方法以及技术/伦理局限性。
  • 它们作为模型的活文档，用于记录模型的相关信息。模型卡片包含的信息范围广泛，从对特定模型用途的高层描述，到其局限性、偏见、评估指标等更多内容。它们主要用于帮助理解模型的功能。
  • 模型卡之于模型，犹如 GitHub README 之于 GitHub 项目。它向人们提供了了解该模型所需的全部信息。如果你不编写模型卡，就没有人会使用你的模型。
  • 据我理解，模型卡使用某些基准（如地理、文化、性别等）来定义模型的可适用性和局限性。它本质上相当于模型的“营养成分标签”，能够展示模型的创建方式，并帮助他人了解其可复用性。
  • 模型卡片是关于模型的元数据和文档，包含了我正确使用该模型所需了解的一切：模型信息、介绍该模型的论文、用于训练或微调的数据集、模型的所有者、该模型是否存在已知的风险和局限性，以及任何有用的技术信息。
  • IMO 模型卡片是对模型的简要介绍，内容包括：
    • 该模型架构特性的简要概述
    • 描述其训练数据
    • 在参考数据集上的表现如何（如果可能的话，请提供准确率和速度指标）
    • 局限性
    • 如何在 Transformers 库的上下文中使用它
    • source（原始文章、GitHub 仓库等）
  • 易于访问的文档，任何背景的人都可以阅读并了解关键模型组件和社会影响

你喜欢模型卡片的哪些方面？

  • 它们对于向人们介绍新模型来说很有趣
  • 作为一个非技术人员，能够了解模型并理解其基本原理，这为作者提供了一个机会，以透明且可解释（即可信）的方式展示其创新之处。
  • 我喜欢带有可视化效果和交互式组件的模型卡片，它们让我无需运行任何代码就能试用模型。
  • 我喜欢优秀的模型卡片的一点是，你可以在其中找到关于该特定模型所需的所有信息。
  • 模型卡片对 AI 伦理领域具有革命性意义。它是缓解和普及机器学习偏见认知方面的首批实质性举措之一。它们促进了更高的意识和责任感！
  • 结构化、详尽，信息越多越好。
  • 这有助于了解模型擅长（或不擅长）的方面。
  • 简洁性与易读性

您不喜欢模型卡（model cards）的哪些方面？

  • 内容可能过于技术性，信息密度也可能较高
  • 它们包含面向不同受众（研究人员、工程师、非工程师）的大量信息，因此很难针对预期的使用场景来探索模型卡片。 * [注：此问题可通过为不同受众提供切换视图来解决]
  • 制作高质量的模型卡非常耗时。它们难以测试，以确保信息是最新的。此外，模型卡的格式往往差异很大——因此，你需要自行摸索特定作者是如何组织其内容的。 * [注：此评论有助于说明标准化格式和自动化工具的价值，它们能让创建模型卡变得更加容易]
  • 如果没有社区协助提供补充评估，模型卡片可能会受到开发者未察觉的固有偏差的影响。目前它们仍处于早期阶段，但如果不进行更全面的评估，模型卡片中的信息可能会过于有限。
  • 空的模型卡片。没有许可证信息——客户需要这些信息，但通常无法获取。
  • 它们通常要么过于简略，要么过于冗长。
  • 写这些代码，哈哈，感谢

其他关键新见解

  • 模型卡片最好由不同角色的人共同填写：技术规格通常只能由开发者填写；而贯穿始终的伦理考量，通常最适合由从事伦理问题相关工作的人员来提供意见。
  • 模型用户非常关注许可证——具体来说，就是该模型是否可以合法地用于特定任务。

附录 B：景观分析

机器学习模型文档现状概述

模型卡示例

模型卡片及其密切相关的变体示例包括：

大型语言模型的模型卡

大型语言模型通常会附带相关文档。拥有模型卡片（或相关文档工具）的大型语言模型包括：

模型卡生成工具

用于以编程方式或交互式方式生成模型卡片的工具包括：

模型卡教育工具

用于理解模型卡片以及如何创建模型卡片的工具包括：

请引用为： Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub

🤗 Hugging Face Hub→