Optimum

Optimum, Intel, Furiosa, ONNX Runtime, GPTQ ve daha düşük seviyeli PyTorch kuantizasyon işlevleri için kuantizasyon desteği sunan bir optimizasyon kütüphanesidir. Belirli donanımlar (Intel CPU/HPU, AMD GPU, Furiosa NPU vb.) ve ONNX Runtime gibi model hızlandırıcılar için performansı artırmak üzere tasarlanmıştır.

Update on GitHub