AI

Najprostszy i najlepszy sposób na uruchomienie lokalnego AI na Rocky Linux to Ollama.

Najprostszy i najlepszy sposób na uruchomienie lokalnego AI na Rocky Linux to Ollama.

Ollama pozwala szybko odpalać modele językowe (Llama, Gemma, Qwen, DeepSeek, Mistral itd.) lokalnie, bez chmury. Działa na CPU (wolniej) i automatycznie wykrywa GPU NVIDIA/AMD, jeśli masz sterowniki.

1. Instalacja Ollamy (1 komenda)

Bash

# Zaktualizuj system (opcjonalnie, ale zalecane)
sudo dnf update -y

# Na Rocky Linux 10 czasem potrzebne zstd
sudo dnf install -y zstd curl

# Instalacja oficjalna
curl -fsSL https://ollama.com/install.sh | sh

Po instalacji usługa startuje automatycznie. Sprawdź:

Bash

ollama --version
systemctl status ollama

2. Uruchomienie pierwszego modelu

Bash

# Mały i szybki model (dobry na start, nawet na CPU)
ollama run gemma3:4b

# albo inne popularne:
ollama run llama3.2          # 3B
ollama run qwen2.5:7b
ollama run deepseek-r1:8b    # dobre rozumowanie
ollama run llama3.1:8b

Przy pierwszym uruchomieniu model się pobierze. Potem możesz z nim normalnie rozmawiać w terminalu. Wyjście: /bye lub Ctrl+D.

3. Przydatne komendy

Bash

ollama list                  # lista zainstalowanych modeli
ollama pull nazwa_modelu     # tylko pobierz, bez uruchamiania
ollama rm nazwa_modelu       # usuń model
ollama serve                 # jeśli chcesz ręcznie odpalić serwer

API działa na http://127.0.0.1:11434 (kompatybilne z OpenAI).

4. GPU (NVIDIA) – opcjonalnie, ale mocno przyspiesza

Jeśli masz kartę NVIDIA:

Bash

# EPEL + CRB
sudo dnf install -y epel-release
sudo dnf config-manager --set-enabled crb

# Repo NVIDIA (dostosuj do swojej wersji Rocky – 9 lub 10)
# Dla Rocky 9:
sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel9/x86_64/cuda-rhel9.repo

# Dla Rocky 10:
# sudo dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/rhel10/x86_64/cuda-rhel10.repo

sudo dnf install -y kernel-devel-matched kernel-headers
sudo dnf install -y nvidia-open   # lub cuda-drivers
sudo reboot

Po restarcie sprawdź:

Bash

nvidia-smi

Ollama powinna sama wykryć GPU.

Alternatywy

Narzędzie	Poziom trudności	Kiedy wybrać
Ollama	Najłatwiejsze	Szybki start, chat, API
LM Studio	Łatwe (GUI)	Preferujesz graficzny interfejs
llama.cpp	Średnie	Maksymalna optymalizacja na CPU
vLLM / TGI	Zaawansowane	Produkcja, wiele użytkowników

INFORMATICS

The Best

Przełącznik języka

Tools

This Site

Mining

Security

CMS

Hardware

Backup

Windows Server

Databases

Emulators

Powershell

Storage Array

Active Directory

SEO

MSSQL

Antivirus program

Linux

Licznik

Visitor Info

Who Is Online

Najprostszy i najlepszy sposób na uruchomienie lokalnego AI na Rocky Linux to Ollama.

1. Instalacja Ollamy (1 komenda)

2. Uruchomienie pierwszego modelu

3. Przydatne komendy

4. GPU (NVIDIA) – opcjonalnie, ale mocno przyspiesza

Alternatywy

Search