Sahabat Qwords yang bekerja di AI Development pasti paham tingginya biaya dan risiko pencurian privasi ketika menjalankan asisten AI LLM (Large Language Model) karena memerlukan cloud dari pihak ketiga.
Tapi tenang, karena kini sudah ada Ollama, sebuah sistem open-source untuk menjalankan LLM tanpa perlu cloud, tanpa biaya per token, dan bisa memberikan kendali penuh pada data dan model yang digunakan.
Penasaran? Di artikel ini, kita akan bahas secara mendalam tentang apa itu Ollama, cara kerjanya, kelebihan, cara instalasi, hingga cara mengkustomisasinya.
Geser ke bawah untuk mengetahui lebih lanjut!
Apa Itu Ollama?
Ollama adalah sistem open-source yang memungkinkan kamu menjalankan Large Language Model (LLM) secara lokal.
Artinya, kamu bisa mengandalkan laptop, PC, atau server seperti VPS milikmu sendiri tanpa memerlukan bantuan cloud dari pihak ketiga.
Kelebihan Ollama
Ada beberapa kelebihan Ollama yang tidak dimiliki sistem asisten AI lain:
1. Data Lebih Aman
Dalam sistem Ollama, prompt dan output berada di mesin atau perangkat kita sendiri, jadi lebih aman untuk menyimpan dokumen sensitif dan rahasia.
2. Hemat Biaya
Ollama tidak memakai skema pay-per-token. Setelah model diunduh, kamu bebas memakainya sesuka hati tanpa biaya tambahan.
3. Kendali Penuh
Kamu bisa mengatur versi model, parameter, sampai persona lewat fitur Modelfile yang ada di Ollama.
Selain itu jika kamu butuh API, maka bisa pakai server lokal di http://localhost:11434 dengan endpoint generate, chat, atau embeddings sehingga kompatibel dengan penggunaan API seperti di OpenAI.
Cara Kerja Ollama
Berikut ini penjelasan tentang bagaimana cara Ollama bekerja:
1. Isolasi Lingkungan
Ollama akan menyiapkan runtime yang rapi seperti container ringan. Ini akan mencegah bentrokan antar-software dan meminimalisir error.
2. Model dan Konfigurasi
Saat kamu mengunduh model, Ollama akan mengambil isi model atau bobot model serta konfigurasi dan tokenizer yang dibutuhkan.
Ada banyak model yang tersedia dalam library Ollama, seperti Llama, Mistral, Gemma, Code Llama, dan lainnya yang bisa kamu pilih.
Beberapa model seperti LlaVA atau DeepSeek mungkin perlu diunduh atau dikonfigurasi terlebih dahulu.
3. Eksekusi yang Cepat
Setelah memilih model, Ollama akan mendeteksi jenis GPU yang kamu gunakan, apakah NVIDIA, AMD, atau Apple Silicon. Jika tidak menggunakan GPU, Ollama akan memilih CPU biasa dengan risiko lebih lambat meskipun tetap bisa berjalan.
4. Antarmuka Serbaguna
Kamu bisa berinteraksi dengan Ollama lewat beberapa cara, seperti:
- CLI, untuk kamu yang suka terminal,
- API, bisa integrasi aplikasi, cron, atau alur data,
- GUI, dari pihak ketiga seperti Open WebUI atau UI lainnya.
5. Kustomisasi Via Modelfile
Kamu bisa menggunakan Modelfile untuk mengatur perilaku model seperti:
- System prompt, untuk mengganti prompt awal,
- Temperatur, untuk mengatur tingkat kreativitas,
- Num_ctx, untuk menentukan panjang konteks,
- LoRA/adapter, untuk memodifikasi jaringan. Opsi ini hanya tersedia pada model yang kompatibel.
Spesifikasi Hardware Untuk Ollama
Berikut adalah spesifikasi hardware minimum agar Ollama dapat berjalan dengan baik di perangkat kamu:
| Hardware | Spesifikasi Minimum |
| RAM | Gunakan RAM kapasitas 8 GB untuk model kecil (1-3B) atau Phi-mini, 16 GB untuk 7-8B, dan 32 GB untuk 13B ke atas. |
| GPU | Pakai GPU seperti NVIDIA, AMD, atau Apple Silicon agar performa lancar. |
| Storage | Pasang storage model 7-8B kuantitas Q4 ~ 4-5 GB. |
| CPU | CPU standar dengan bottleneck utama RAM/VRAM sudah cukup. |
Cara Install Ollama
Ollama dapat di-install di beberapa sistem komputer seperti MacOS, Windows, Linux, atau menggunakan Docker. Berikut tutorialnya:
1. MacOS
- Pertama, download DMG dari situs resmi Ollama.
- Drag-and-drop ke folder Applications.
- Buka aplikasinya.
2. Windows
- Unduh file Ollama dari situs resminya.
- Jalankan instalasi seperti biasa.
- Setelah terpasang, kamu bisa pakai Ollama dari PowerShell atau Terminal.
3. Linux (Ubuntu atau Debian)
1. Buka Terminal
2. Ketik perintah di bawah ini untuk memulai instalasi:
curl -fsSL https://ollama.com/install.sh | sh
3. Cek apakah Ollama sudah terpasang:
ollama –version
4. Aktifkan Ollama agar selalu berjalan dengan kode berikut:
sudo systemctl enable ollama
sudo systemctl start ollama
sudo systemctl status ollama
4. Docker
Ada beberapa cara jika kamu ingin memasang Ollama melalui Docker, berikut penjelasannya:
1. Pakai CPU:
docker run -d \
-v ollama_data:/root/.ollama \
-p 127.0.0.1:11434:11434 \
–name my_ollama \
ollama/ollama
2. Pakai GPU NVIDIA:
docker run -d \
–gpus=all \
-v ollama_data:/root/.ollama \
-p 127.0.0.1:11434:11434 \
–name my_ollama_gpu \
ollama/ollama
3. Pakai AMD:
docker run -d \
–device /dev/kfd –device /dev/dri \
-v ollama_data:/root/.ollama \
-p 127.0.0.1:11434:11434 \
–name my_ollama_rocm \
ollama/ollama:rocm
5. Agar Ollama Bisa Diakses dari Luar Perangkatmu
1. Buka file pengaturan
sudo nano /etc/systemd/system/ollama.service
2. Tambahkan baris ini:
Environment=”OLLAMA_HOST=0.0.0.0:11434″
3. Simpan dan jalankan ulang
sudo systemctl daemon-reload
sudo systemctl restart ollama
Setelah Instalasi Selesai
Berikut hal yang bisa dilakukan setelah instalasi selesai:
1. Tarik model AI:
ollama pull llama3.2
2. Pilih model sesuai keinginan dan jalankan model:
ollama run llama3.2 “Explain the basics of machine learning.”
3. Masuk ke mode tanya-jawab:
ollama run llama3.2
4. Untuk keluar dari model tanya jawab:
/bye
5. Untuk lihat daftar model yang sudah kamu unduh
ollama list
Cara Kustomisasi dengan Modelfile
Berikut ini tutorial agar kamu bisa kustomisasi Ollama dengan Modelfile:
- Buat model “berkepribadian” tanpa fine-tuning yang berat:
nano custom-Modelfile
Contoh isi:
FROM llama3.2
PARAMETER temperature 0.7
PARAMETER num_ctx 4096
SYSTEM “Kamu adalah asisten yang ringkas dan ramah.”
TEMPLATE “””{{ if .System }}System: {{ .System }}{{ end }}
User: {{ .Prompt }}
Assistant: {{ .Response }}”””
2. Bangun dan jalankan:
ollama create my-llama -f ./custom-Modelfile
ollama run my-llama
Ingat! fitur Modelfile memang memungkinkan bisa kustomisasi, tapi tidak semua parameter seperti LoRA/adapter tersedia untuk semua model.
Jadi, kamu masih perlu menyesuaikan dengan kompatibilitas model yang digunakan.
Cara Memakai API Ollama
Dengan memakai API, kamu bisa melakukan otomasi dan integrasi Ollama, berikut petunjuknya:
1. Generate satu prompt
curl http://localhost:11434/api/generate -d ‘{
“model”: “llama3.2”,
“prompt”: “Why is the sky blue?”,
“stream”: false
}’
2. Chat Dengan Gaya OpenAI
Jika kamu ingin mengkustomisasi Ollama agar punya gaya seperti OpenAI, kamu bisa pakai kode berikut:
curl http://localhost:11434/api/chat -d ‘{
“model”: “llama3.2”,
“messages”: [
{“role”: “system”, “content”: “You are a helpful assistant.”},
{“role”: “user”, “content”: “Ringkas manfaat AI untuk UKM.”}
],
“stream”: true
}’
Tertarik Mulai Otak-Atik Ollama?
Pada intinya, Ollama adalah asisten AI pribadi sebagaimana yang telah disebutkan di atas. Kamu bisa mengatur dan kustomisasi pengaturannya sesuai seleramu.
Itulah penjelasan tentang Ollama, mulai dari pengertian, kelebihan, cara kerja, sampai ke cara install dan pengaturannya. Jika ada hal yang masih membuat kamu bingung maka jangan ragu untuk bertanya di kolom komentar.
