Ollama — инструмент, который позволяет запускать языковые модели на своём компьютере или сервере буквально парой команд. Он скачивает модель, загружает её в память и предоставляет простой HTTP API для обращения из программ. Многие сначала пробуют Ollama на ноутбуке, а затем хотят перенести её на постоянно работающий VPS. На этом этапе чаще всего звучит один вопрос: сколько памяти, какой процессор и сколько диска нужно серверу.
Потребность в ресурсах определяет размер модели
Сама Ollama очень лёгкая, основную нагрузку создаёт модель. Во время работы её веса полностью загружаются в оперативную память или в память GPU, поэтому объём памяти напрямую определяет, какую модель вы сможете запустить. В документации проекта Ollama в качестве ориентира рекомендовалось не менее 8 ГБ оперативной памяти для моделей на 7B параметров, 16 ГБ для 13B и 32 ГБ для 33B. Эти цифры относятся к квантованным моделям, а точный объём можно узнать по размеру файла на странице модели. Помните, что в памяти должны поместиться не только модель, но и операционная система, контекст и другие программы.
| Размер модели | Рекомендуемая RAM | Для каких задач |
|---|---|---|
| 1B–3B | 4–8 ГБ | Короткие ответы, классификация, простые сводки |
| 7B–8B | не менее 8 ГБ | Универсальный помощник, работа с текстом |
| 13B | 16 ГБ | Более сложный анализ и длинные тексты |
| 33B и больше | 32 ГБ и больше | Обычно требует сервера с GPU |
Можно ли обойтись CPU или нужен GPU
Ollama работает и без GPU, на процессоре, но скорость ответа заметно ниже. Небольшие модели размером 1B–3B на обычном многоядерном VPS отвечают на короткие запросы с приемлемой скоростью, и для внутренних инструментов и фоновых задач этого часто достаточно. Модели от 7B на CPU работать будут, но в живом диалоге задержка ощутима. Если одновременно работает много пользователей или нужна крупная модель, стоит задуматься о сервере с GPU. Учитывайте и диск: каждая модель занимает несколько гигабайт, и если пробовать несколько моделей, место заканчивается быстро.
Пример: внутренний помощник по документам для школы
Допустим, частная школа в Самарканде хочет сделать внутреннего помощника для учителей: он кратко пересказывает приказы и протоколы собраний и готовит черновики сообщений родителям. Документы содержат персональные данные учеников, поэтому отправлять их во внешний сервис нежелательно. Для такой задачи хорошей отправной точкой будет модель размером 3B и VPS с 8 ГБ памяти; такой сервер можно заказать в кабинете sayt.uz и выполнить шаги ниже.
Установка Ollama и загрузка первой модели
Официальный установочный скрипт для Linux настраивает Ollama как службу systemd, поэтому она автоматически запускается после перезагрузки сервера.
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama
ollama --version
Затем скачайте модель и проверьте её. Команда ollama ps показывает загруженные в память модели и то, где они работают — на CPU или GPU, а free -h показывает, сколько памяти осталось.
ollama pull llama3.2:3b
ollama run llama3.2:3b "Qisqa salom yoz"
ollama ps
free -h
По умолчанию Ollama предоставляет API по адресу 127.0.0.1:11434. Программа школьного помощника отправляет на этот адрес обычный HTTP-запрос и получает ответ в формате JSON.
curl http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.2:3b",
"prompt": "Ushbu matnni uch gapda xulosa qil: ...",
"stream": false
}'
Экономия памяти и параллельные запросы
После последнего запроса Ollama какое-то время держит модель в памяти, по умолчанию это несколько минут. Если запросы приходят часто, увеличение этого времени избавит от повторной загрузки модели, а при редком использовании сокращение освободит память для других программ. Переменная OLLAMA_NUM_PARALLEL задаёт, сколько запросов одна модель обрабатывает одновременно, но каждый параллельный запрос требует дополнительной памяти.
sudo systemctl edit ollama
[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_NUM_PARALLEL=2"
sudo systemctl restart ollama
Безопасная публикация API в интернет
В API Ollama нет встроенной аутентификации: если оставить порт открытым, любой желающий сможет бесплатно пользоваться ресурсами вашего сервера. Поэтому вместо того чтобы открывать его напрямую через OLLAMA_HOST=0.0.0.0, лучше оставить Ollama на внутреннем адресе и поставить перед ней Nginx с паролем. В примере ниже для поддомена ai.example.uz настроена basic-аутентификация, а SSL-сертификат можно получить через Certbot.
sudo apt install apache2-utils
sudo htpasswd -c /etc/nginx/.ollama_htpasswd maktab
server {
listen 443 ssl;
server_name ai.example.uz;
# строки ssl_certificate добавит Certbot
location / {
auth_basic "Ollama";
auth_basic_user_file /etc/nginx/.ollama_htpasswd;
proxy_pass http://127.0.0.1:11434;
proxy_set_header Host localhost:11434;
proxy_buffering off;
proxy_read_timeout 600s;
}
}
Строка proxy_set_header Host важна: Ollama проверяет, с какого хоста пришёл запрос, и может отклонять запросы с чужим именем. Увеличенный proxy_read_timeout и отключённая буферизация позволяют длинным ответам приходить частями в реальном времени. В файрволе оставьте порт 11434 закрытым для внешней сети.
Когда VPS становится мало
Если ollama ps показывает, что часть модели не поместилась в память, сервер уходит в swap или пользователи подолгу ждут ответа — ресурсов не хватает. В такой ситуации стоит перейти на модель поменьше или с более сильным квантованием, повысить тариф VPS или перейти на решение с GPU. Часто правильно подобранная небольшая модель даёт более полезный результат, чем медленно работающая большая.