Gunakan Ollama dengan Model GGUF apa pun di Hugging Face Hub

Anda juga dapat menjalankan GGUF privat dari Hugging Face Hub.

Ollama adalah aplikasi berbasis llama.cpp untuk berinteraksi dengan LLM langsung melalui komputer Anda. Anda dapat menggunakan kuantisasi GGUF apa pun yang dibuat oleh komunitas (bartowski, MaziyarPanahi dan banyak lagi) di Hugging Face secara langsung dengan Ollama, tanpa perlu membuat Modelfile baru. Saat penulisan ini, terdapat 45K checkpoint GGUF publik di Hub, dan Anda dapat menjalankan salah satunya dengan satu perintah ollama run. Kami juga menyediakan kustomisasi seperti memilih jenis kuantisasi, system prompt, dan lainnya untuk meningkatkan pengalaman Anda secara keseluruhan.

Memulai adalah sesederhana:

1. Aktifkan ollama di pengaturan Aplikasi Lokal Anda.
2. Di halaman model, pilih ollama dari dropdown Use this model. Contoh: bartowski/Llama-3.2-1B-Instruct-GGUF.

Snippet akan berada dalam format:

ollama run hf.co/{username}/{repository}

Perhatikan bahwa Anda dapat menggunakan hf.co dan huggingface.co sebagai nama domain.

Berikut adalah beberapa model yang dapat Anda coba:

ollama run hf.co/bartowski/Llama-3.2-1B-Instruct-GGUF
ollama run hf.co/mlabonne/Meta-Llama-3.1-8B-Instruct-abliterated-GGUF
ollama run hf.co/arcee-ai/SuperNova-Medius-GGUF
ollama run hf.co/bartowski/Humanish-LLama3-8B-Instruct-GGUF

Kuantisasi Kustom

Secara default, skema kuantisasi Q4_K_M digunakan, jika skema tersebut ada di dalam repo model. Jika tidak, kami secara default memilih satu tipe kuantisasi yang wajar yang ada di dalam repo.

Untuk memilih skema yang berbeda, cukup:

1. Dari tab Files and versions di halaman model, buka penampil GGUF pada file GGUF tertentu.
2. Pilih ollama dari dropdown Use this model.

Snippet akan berada dalam format (tag kuantisasi ditambahkan):

ollama run hf.co/{username}/{repository}:{quantization}

Sebagai contoh:

ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:IQ3_M
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Q8_0

# the quantization name is case-insensitive, this will also work
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:iq3_m

# you can also directly use the full filename as a tag
ollama run hf.co/bartowski/Llama-3.2-3B-Instruct-GGUF:Llama-3.2-3B-Instruct-IQ3_M.gguf

Template dan Parameter Chat Kustom

Secara default, sebuah template akan dipilih secara otomatis dari daftar template yang umum digunakan. Pemilihan dilakukan berdasarkan metadata tokenizer.chat_template bawaan yang disimpan di dalam file GGUF.

Jika file GGUF Anda tidak memiliki template bawaan atau jika Anda ingin menyesuaikan template chat Anda, Anda dapat membuat file baru bernama template di repositori. Template harus berupa Go template, bukan Jinja template. Berikut adalah contohnya:

{{ if .System }}<|system|>
{{ .System }}<|end|>
{{ end }}{{ if .Prompt }}<|user|>
{{ .Prompt }}<|end|>
{{ end }}<|assistant|>
{{ .Response }}<|end|>

Untuk mengetahui lebih lanjut tentang format template Go, silakan merujuk ke dokumentasi ini

Anda dapat secara opsional mengonfigurasi prompt sistem dengan menaruhnya ke dalam file baru bernama system di repositori.

Untuk mengubah parameter sampling, buat file bernama params di repositori. File harus dalam format JSON. Untuk daftar semua parameter yang tersedia, silakan merujuk ke dokumentasi ini.

Jalankan GGUF Privat dari Hugging Face Hub

Anda dapat menjalankan GGUF privat dari akun pribadi Anda atau dari akun organisasi terkait dalam dua langkah sederhana:

1. Salin kunci SSH Ollama Anda, Anda dapat melakukannya melalui: cat ~/.ollama/id_ed25519.pub | pbcopy
2. Tambahkan kunci yang sesuai ke akun Hugging Face Anda dengan membuka pengaturan akun Anda dan mengklik Add new SSH key.
3. Selesai! Anda sekarang dapat menjalankan GGUF privat dari Hugging Face Hub: ollama run hf.co/{username}/{repository}.

Referensi

• https://github.com/ollama/ollama/blob/main/docs/README.md
• https://huggingface.co/docs/hub/en/gguf