Своя безкоштовна нейромережа: Ollama на сервері чи ПК
- Стаття
Я хотів свій чат як ChatGPT: пишу «закинь відео в Instagram» або «що в мене за задачі», і він робить. Без підписки і лімітів. Для цього є Ollama — безкоштовна програма, яка запускає відкриті нейромережі на твоєму залізі. Нижче — як її поставити і що в мене вийшло насправді.
Спершу головне: пам'ять
Модель цілком сидить у пам'яті. Грубе правило:
- 1–2 млрд параметрів (qwen3:1.7b, qwen3-vl:2b) — близько 2–3 ГБ;
- 4 млрд (gemma3:4b) — близько 4 ГБ;
- 8 млрд (qwen3:8b) — від 6 ГБ.
Мій сервер за ~250 грн/міс має 2 ядра і 4 ГБ пам'яті, і на ньому вже живуть сайти. Тож на ньому поміщається лише маленька модель, і працює вона повільно (без відеокарти). Для серйозної роботи потрібен сервер з 8+ ГБ.
Встановлення на сервер (Ubuntu)
curl -fsSL https://ollama.com/install.sh | sh
ollama pull qwen3:1.7b
ollama run qwen3:1.7b "Напиши 3 ідеї для короткого відео про програмування"Скрипт сам створює службу, тож після перезавантаження Ollama запуститься сама. Перевірити: systemctl status ollama.
Як стукатися до неї з програм
Ollama слухає 127.0.0.1:11434 — це API, до якого може звертатись твій сайт чи скрипт:
curl http://127.0.0.1:11434/api/chat -d '{
"model": "qwen3:1.7b",
"messages": [{ "role": "user", "content": "Привіт!" }],
"stream": false
}'Не відкривай цей порт у інтернет. У Ollama немає пароля: хто дістанеться до порту, той і користується твоїм сервером. Доступ ззовні — лише через свій бекенд з авторизацією.
Яку модель брати: моє порівняння
Я перевірив кілька моделей на звичайному ПК (16 ГБ пам'яті, стара відеокарта на 3 ГБ) на двох задачах: зрозуміти команду і написати опис українською:
- qwen3-vl:2b-instruct — добре розуміє команди («опублікуй», «покажи задачі»), але українські тексти пише слабко;
- gemma3:4b — найкраща українська з маленьких;
- qwen3-vl:2b (з «роздумами») — зациклювалась і не відповідала;
- qwen3:1.7b — плутала дії («забери преміум» сприйняла як «дай»).
Висновок: маленька модель — це розумний «перемикач» команд, а не копірайтер. Тому в мене вона тільки запускає готові дії, а для описів дає готовий промпт.
Що вийшло в мене
Поки що я запускаю Ollama на своєму ПК, який і так завжди увімкнений: там більше пам'яті і є відеокарта. На ній працює мій чат-агент: він показує задачі з карти, записує нотатки, готує і публікує відео після мого підтвердження. На сервер перенесу, коли візьму тариф з 8 ГБ.
Якщо хочеш почати просто зараз: завантаж Ollama для своєї системи з ollama.com, виконай ollama run gemma3:4b і поговори з нею українською.