Интерфейс: ModelConfig

Свойства

expert _ dtype

• Optional expert_dtype: string

Некоторые MoE хранят свои эксперты с более узкой точностью, чем остальная часть модели, и указывают об этом здесь, вне quantization_config (например, DeepSeek-V4). Используется как запасной вариант, если конфигурация квантования не объявляет собственный expert_dtype (как это делает DeepSeek-V4.1).

Определено в

packages/hub/src/lib/parse-safetensors-metadata.ts:968

---

квантование

• квантование Optional: MlxQuantizationConfig

Текущий формат MLX, при необходимости с переопределениями для отдельных модулей, ключами которых служат имена модулей.

Определено в

packages/hub/src/lib/parse-safetensors-metadata.ts:960

---

quantization _ config

• Optional quantization_config: QuantizationConfig | MlxQuantizationConfig

Определено в

packages/hub/src/lib/parse-safetensors-metadata.ts:961

---

text _ config

• Optional text_config: Pick<ModelConfig, "expert_dtype" | "quantization" | "quantization_config">

Определено в

packages/hub/src/lib/parse-safetensors-metadata.ts:962

Update on GitHub