Ollama til modellarini o'z kompyuteringiz yoki serveringizda bir nechta buyruq bilan ishga tushirish imkonini beruvchi vosita. U modelni yuklab oladi, uni xotiraga joylaydi va dasturlar murojaat qilishi uchun oddiy HTTP API taqdim etadi. Ko'pchilik Ollama'ni avval noutbukda sinab ko'radi, so'ng uni doimiy ishlaydigan VPS'ga ko'chirishni xohlaydi. Bu bosqichda eng ko'p beriladigan savol bitta: serverda qancha xotira, qanday protsessor va qancha disk bo'lishi kerak.
Resurs ehtiyojini model hajmi belgilaydi
Ollama'ning o'zi juda yengil, asosiy yukni model yaratadi. Model ishlayotganda uning og'irliklari to'liq operativ xotiraga yoki GPU xotirasiga yuklanadi, shuning uchun xotira hajmi qaysi modelni ishlata olishingizni bevosita belgilaydi. Ollama loyihasi hujjatlarida taxminiy yo'riqnoma sifatida 7B parametrli modellar uchun kamida 8 GB, 13B modellar uchun 16 GB va 33B modellar uchun 32 GB operativ xotira tavsiya qilingan. Bu raqamlar kvantlangan modellarga tegishli, aniq hajmni esa model sahifasidagi fayl o'lchamidan bilish mumkin. Xotiraga faqat model emas, balki operatsion tizim, kontekst va boshqa dasturlar ham sig'ishi kerakligini unutmang.
| Model o'lchami | Tavsiya etilgan RAM | Qaysi vazifalarga mos |
|---|---|---|
| 1B-3B | 4-8 GB | Qisqa javoblar, tasniflash, oddiy xulosalar |
| 7B-8B | kamida 8 GB | Umumiy yordamchi, matn bilan ishlash |
| 13B | 16 GB | Murakkabroq tahlil va uzunroq matnlar |
| 33B va undan katta | 32 GB va undan ko'p | Odatda GPU'li server talab qiladi |
CPU'da ishlatish mumkinmi yoki GPU shartmi
Ollama GPU bo'lmasa ham protsessorda ishlay oladi, lekin javob tezligi sezilarli darajada past bo'ladi. Kichik modellar, ya'ni 1B-3B o'lchamdagilar, oddiy ko'p yadroli VPS'da qisqa so'rovlarga maqbul tezlikda javob beradi, ichki vositalar va fon vazifalari uchun bu ko'pincha yetarli. 7B va undan katta modellar CPU'da ishlasa ham, real vaqtdagi suhbat uchun sekinlik seziladi. Agar ko'p foydalanuvchi bir vaqtda ishlasa yoki katta model kerak bo'lsa, GPU'li server haqida o'ylash to'g'ri bo'ladi. Disk bo'yicha ham hisob qiling: har bir model bir necha gigabayt joy egallaydi, bir nechta modelni sinab ko'rsangiz, disk tez to'ladi.
Misol: maktab uchun ichki hujjat yordamchisi
Samarqanddagi xususiy maktab o'qituvchilar uchun ichki yordamchi yaratmoqchi deylik: u buyruqlar va yig'ilish bayonnomalarini qisqacha xulosa qiladi, ota-onalarga yuboriladigan xabarlar qoralamasini tayyorlaydi. Ma'lumotlar o'quvchilar haqidagi shaxsiy ma'lumotlarni o'z ichiga olgani uchun ularni tashqi xizmatga yubormaslik afzal. Bunday vazifa uchun 3B o'lchamdagi model va 8 GB xotirali VPS yaxshi boshlanish nuqtasi bo'ladi, sayt.uz kabinetidan shunday VPS buyurtma qilib, quyidagi qadamlarni bajarish mumkin.
Ollama'ni o'rnatish va birinchi modelni yuklash
Linux uchun rasmiy o'rnatish skripti Ollama'ni systemd xizmati sifatida sozlaydi, shuning uchun u server qayta yuklanganda ham avtomatik ishga tushadi.
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama
ollama --version
So'ng modelni yuklab, uni sinab ko'ring. ollama ps buyrug'i xotiraga yuklangan modellarni va ular CPU yoki GPU'da ishlayotganini ko'rsatadi, free -h esa qancha xotira qolganini bildiradi.
ollama pull llama3.2:3b
ollama run llama3.2:3b "Qisqa salom yoz"
ollama ps
free -h
Ollama standart holatda 127.0.0.1:11434 manzilida API taqdim etadi. Maktab yordamchisining dasturi shu manzilga oddiy HTTP so'rov yuborib, javobni JSON ko'rinishida oladi.
curl http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.2:3b",
"prompt": "Ushbu matnni uch gapda xulosa qil: ...",
"stream": false
}'
Xotirani tejash va parallel so'rovlar
Ollama modelni oxirgi so'rovdan keyin ma'lum vaqt xotirada saqlab turadi, standart qiymat bir necha daqiqani tashkil qiladi. Agar so'rovlar tez-tez kelsa, bu vaqtni uzaytirish modelni har safar qayta yuklashning oldini oladi, kam ishlatilsa esa qisqartirish xotirani boshqa dasturlarga bo'shatadi. OLLAMA_NUM_PARALLEL o'zgaruvchisi bitta model nechta so'rovni bir vaqtda qayta ishlashini belgilaydi, lekin har bir parallel so'rov qo'shimcha xotira talab qilishini hisobga oling.
sudo systemctl edit ollama
[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_NUM_PARALLEL=2"
sudo systemctl restart ollama
API'ni internetga xavfsiz ochish
Ollama API'sida o'rnatilgan autentifikatsiya yo'q, ya'ni portni ochiq qoldirsangiz, istalgan odam serveringiz resurslaridan bepul foydalanishi mumkin. Shuning uchun OLLAMA_HOST qiymatini 0.0.0.0 qilib to'g'ridan-to'g'ri ochish o'rniga, Ollama'ni ichki manzilda qoldirib, oldiga parol bilan himoyalangan Nginx qo'yish tavsiya etiladi. Quyidagi misolda ai.example.uz subdomeni uchun basic auth sozlangan, SSL sertifikatni esa Certbot orqali olish mumkin.
sudo apt install apache2-utils
sudo htpasswd -c /etc/nginx/.ollama_htpasswd maktab
server {
listen 443 ssl;
server_name ai.example.uz;
# ssl_certificate qatorlarini Certbot qo'shadi
location / {
auth_basic "Ollama";
auth_basic_user_file /etc/nginx/.ollama_htpasswd;
proxy_pass http://127.0.0.1:11434;
proxy_set_header Host localhost:11434;
proxy_buffering off;
proxy_read_timeout 600s;
}
}
proxy_set_header Host qatori muhim: Ollama so'rov qaysi xostdan kelganini tekshiradi va begona nomdagi so'rovlarni rad etishi mumkin. Uzun javoblar uchun proxy_read_timeout qiymatini oshirish va buferlashni o'chirish javobning bo'laklab, real vaqtda kelishini ta'minlaydi. Firewall'da esa 11434-portni tashqi tarmoq uchun yopiq qoldiring.
Qachon VPS yetmay qoladi
Agar ollama ps modelning bir qismi xotiraga sig'magani uchun sekin ishlayotganini ko'rsatsa, server swap'ga tushib qolsa yoki foydalanuvchilar javobni uzoq kutsa, bu resurslar yetmayotganining belgisi. Bunday holatda kichikroq yoki kuchliroq kvantlangan modelga o'tish, VPS tarifini oshirish yoki GPU'li yechimga o'tish kerak bo'ladi. Ko'p hollarda to'g'ri tanlangan kichik model katta modelning sekin ishlashidan ko'ra foydaliroq natija beradi.