Hugging Face's logo

Hub documentation

Apêndice

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Apêndice

Apêndice A: Estudo do Usuário

Respostas completas às principais perguntas

Como você definiria os cartões de modelo?

Insight: Os respondentes tinham, em geral, visões semelhantes sobre o que são model cards: documentação focada em questões como treinamento, casos de uso e viés/limitações

  • Model cards são descrições de modelos, tanto sobre como foram treinados, seus casos de uso, quanto sobre possíveis vieses e limitações
  • Documentos que descrevem os recursos essenciais de um modelo para que o leitor/usuário compreenda o artefato que está diante de si, o contexto/treinamento, como ele pode ser utilizado e suas limitações técnicas/éticas.
  • Eles funcionam como um artefato vivo dos modelos para documentá-los. Os cartões de modelo contêm informações que vão desde uma descrição de alto nível sobre o que o modelo específico pode ser usado, até limitações, vieses, métricas e muito mais. Eles são usados principalmente para entender o que o modelo faz.
  • Model cards são para modelos o que os READMEs do GitHub são para projetos do GitHub. Eles informam às pessoas todas as informações que precisam saber sobre o modelo. Se você não escrever um, ninguém usará seu modelo.
  • Do que entendo, um model card utiliza determinados benchmarks (geografia, cultura, sexo, etc.) para definir tanto a usabilidade quanto as limitações de um modelo. É essencialmente o “rótulo de informações nutricionais” de um modelo, que pode mostrar como o modelo foi criado e educar outros sobre sua reutilização.
  • Cards de modelo são os metadados e a documentação sobre o modelo, tudo o que preciso saber para usá-lo corretamente: informações sobre o modelo, qual artigo o introduziu, em qual conjunto de dados ele foi treinado ou ajustado, a quem ele pertence, se existem riscos e limitações conhecidos para este modelo, e quaisquer informações técnicas úteis.
  • Os cartões de modelo do IMO são uma apresentação breve de um modelo que inclui:
    • resumo breve das particularidades arquitetônicas do modelo
    • descrevendo os dados em que foi treinado
    • qual é o desempenho em conjuntos de dados de referência (métricas de precisão e velocidade, se possível)
    • limitações
    • como usá-lo no contexto da biblioteca Transformers
    • fonte (artigo original, repositório do GitHub,…)
  • Documentação de fácil acesso que qualquer pessoa pode ler e aprender sobre componentes críticos do modelo e impacto social

O que você gosta nos cartões de modelo?

  • Elas são interessantes para ensinar as pessoas sobre novos modelos
  • Para alguém sem formação técnica, a possibilidade de conhecer o modelo e entender seus fundamentos é uma oportunidade para o autor divulgar sua inovação de forma transparente e explicável (ou seja, confiável).
  • Gosto de cartões de modelo interativos com visuais e widgets que me permitem testar o modelo sem executar nenhum código.
  • O que eu gosto em bons model cards é que você pode encontrar todas as informações de que precisa sobre aquele modelo específico.
  • Model cards são revolucionários para o mundo da ética em IA. É um dos primeiros passos tangíveis na mitigação/educação sobre vieses em aprendizado de máquina. Eles promovem maior conscientização e responsabilidade!
  • Estruturado, exaustivo, quanto mais informações, melhor.
  • Isso ajuda a entender em que o modelo é bom (ou ruim).
  • Concisão e acessibilidade

O que você não gosta nos cartões de modelo?

  • Pode ficar muito técnico e/ou denso
  • Eles contêm muitas informações para diferentes públicos (pesquisadores, engenheiros, não engenheiros), o que torna difícil explorar os model cards com casos de uso específicos. * [NOTA: esse comentário poderia ser abordado com visualizações alternáveis para diferentes públicos]
  • As boas levam tempo para serem criadas. É difícil testá-las para garantir que as informações estejam atualizadas. Muitas vezes, os model cards são formatados de maneira completamente diferente — então, você precisa descobrir como aquela pessoa específica estruturou o seu. * [NOTA: este comentário ajuda a demonstrar o valor de um formato padronizado e de ferramentas de automação para facilitar a criação de model cards]
  • Sem a ajuda da comunidade para contribuir com avaliações complementares, os cartões de modelo podem estar sujeitos a vieses inerentes dos quais o desenvolvedor pode não estar ciente. Ainda é um estágio inicial para eles, mas, sem avaliações mais aprofundadas, as informações de um cartão de modelo podem ser limitadas demais.
  • Cartões de modelo vazios. Sem informações de licença - os clientes precisam dessas informações e, em geral, não as possuem.
  • Eles costumam ser ou muito concisos ou muito verbosos.
  • escrevendo eles, kkkk, abençoe você

Outras novas percepções importantes

  • Os cartões de modelo são melhor preenchidos quando feitos por pessoas com diferentes papéis: as especificações técnicas geralmente só podem ser preenchidas pelos desenvolvedores; as considerações éticas ao longo do processo são geralmente melhor informadas por pessoas que costumam trabalhar com questões éticas.
  • Usuários de modelos se importam muito com licenças — especificamente, se um modelo pode ser usado legalmente para uma tarefa específica.

Apêndice B: Análise de Cenário

Visão geral do estado da documentação de modelos em Machine Learning

EXEMPLOS DE FICHA DE MODELO

Exemplos de cartões de modelo e variantes relacionadas incluem:

CARDS DE MODELO PARA MODELOS DE LINGUAGEM GRANDES

Modelos de linguagem de grande porte são frequentemente lançados com documentação associada. Modelos de linguagem de grande porte que possuem um cartão de modelo associado (ou ferramenta de documentação relacionada) incluem:

FERRAMENTAS DE GERAÇÃO DE MODEL CARD

Ferramentas para gerar cartões de modelo de forma programática ou interativa incluem:

FERRAMENTAS EDUCACIONAIS DE FICHA DE MODELO

Ferramentas para entender cartões de modelo e para entender como criar cartões de modelo incluem:

Cite como: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub

🤗 Hugging Face Hub→