Llama 3, Stable Diffusion na AMD/Intel Arc: Poradnik instalacji

Dlaczego to takie trudne (albo przynajmniej inne)?

Słyszałeś kiedyś o CUDA? No właśnie, to platforma NVIDII, która przez lata była de facto standardem w AI. AMD i Intel musiały nadrobić zaległości, tworząc swoje ekosystemy: ROCm dla AMD i OpenVINO (oraz wsparcie dla DirectML) dla Intela. I tu zaczyna się zabawa, bo nie wszystkie narzędzia od razu działały „out of the box” z tymi alternatywami. To trochę jak z konsolami – gry robione pod PlayStation nie zawsze od razu działały na Xboksie, prawda? Ale rynek się zmienia, a deweloperzy coraz częściej myślą o szerszej kompatybilności.

Pierwsze kroki: Sterowniki i środowisko

Zanim w ogóle pomyślisz o modelach, musimy ogarnąć podstawy. Bez dobrych sterowników i odpowiedniego środowiska to jak próba jazdy autem bez kół.

AMD: Królowa ROCm (i DirectML na Windowsie)

Jeśli masz kartę AMD Radeon, ROCm to twój najlepszy przyjaciel, szczególnie na Linuxie.

• Linux (polecane):
• Zainstaluj ROCm. To klucz. Proces bywa kapryśny, więc sprawdź oficjalną dokumentację AMD dla swojej dystrybucji i modelu karty. (Tak, wiem, to potrafi być nudne, ale bez tego ani rusz.)
• Upewnij się, że masz PyTorch skompilowany ze wsparciem dla ROCm (często nazywany „PyTorch-ROCm”). Poszukaj prekompilowanych wersji, bo kompilacja samemu to już wyższa szkoła jazdy.
• Windows:
• Upewnij się, że masz najnowsze sterowniki AMD Adrenalin.
• Wiele aplikacji na Windowsie będzie używać DirectML poprzez ONNX Runtime. Sprawdź, czy narzędzie, którego chcesz użyć, wspiera DirectML. To często łatwiejsza ścieżka niż próba uruchomienia ROCm na Windowsie, które bywa… no cóż, problematyczne.

Intel Arc: OpenVINO i DirectML na ratunek

Intel Arc to świeżak na rynku, ale wsparcie rośnie w siłę!

• Windows:
• Pobierz i zainstaluj najnowsze sterowniki Intel Arc Graphics Drivers. To absolutna podstawa.
• Dla wielu zastosowań, w tym Stable Diffusion, idealnym wyborem jest DirectML. Microsoft odwalił tu kawał dobrej roboty.
• Linux (i zaawansowane Windows):
• Zainstaluj zestaw narzędzi OpenVINO. Intel stworzył to do optymalizacji inferencji na swoich układach (także CPU!), więc warto to wykorzystać.
• Upewnij się, że masz odpowiednie pakiety Pythona (np. `openvino-dev`).

Niezależnie od karty, zawsze miej świeżutkie sterowniki. Serio, to rozwiązuje 80% problemów. I zawsze używaj środowiska wirtualnego Pythona (venv lub Conda), żeby nie zaśmiecać systemu. Uchroni cię to przed piekłem zależności.

Instalacja modeli: Llama 3 i Stable Diffusion na własną rękę

Dobra, skoro środowisko gotowe, czas na danie główne.

Llama 3 (i inne LLM-y): Llama.cpp to twój kumpel

Jeśli chcesz uruchomić LLM-y lokalnie, llama.cpp to absolutny must-have. To magiczne narzędzie potrafi odpalić modele w formacie GGUF na wszystkim, co ma trochę mocy.

• Pobierz llama.cpp: `git clone https://github.com/ggerganov/llama.cpp`
• Kompilacja (kluczowe!):
• Dla AMD: Skompiluj z flagą wspierającą ROCm: `make LLAMA_HIPBLAS=1`. To sprawi, że wykorzystasz akcelerację GPU.
• Dla Intel Arc: Skompiluj z flagą OpenVINO: `make LLAMA_OPENVINO=1`.
• Pobierz model: Najlepiej szukaj skwantyzowanych modeli w formacie GGUF na Hugging Face. Są lżejsze i łatwiejsze do uruchomienia na słabszych kartach. Na przykład, poszukaj „Llama 3 GGUF”.
• Uruchom: Odpal model z linii komend, wskazując na plik GGUF i odpowiednie parametry (np. liczbę warstw do załadowania na GPU). I tyle.

Stable Diffusion: Automatycznie czy Komfy?

Tutaj masz kilka opcji, w zależności od twojej karty i preferencji.

• Automatic1111 (Stable Diffusion WebUI):
• Windows (AMD/Intel Arc): Szukaj wersji wspierającej DirectML. Są specjalne fork-i projektu, które to umożliwiają. Instalacja wymaga trochę grzebania, ale jest do zrobienia. To najbardziej popularne GUI, więc warto spróbować.
• ComfyUI:
• To bardziej „węzłowe” środowisko, ale jest świetnie zoptymalizowane pod AMD i Intel Arc, zwłaszcza na Linuxie z ROCm i na Windowsie z DirectML. Jego modułowa budowa sprawia, że łatwiej wykorzystać dostępne zasoby. A wiesz co jest jeszcze fajne? Często jest wydajniejsze niż A1111.
• Fooocus:
• Bardzo prosty w obsłudze, często ma świetne wsparcie dla DirectML. Jeśli chcesz po prostu generować obrazy bez grzebania, spróbuj.

Pamiętaj, VRAM (pamięć karty graficznej) to twój najlepszy (albo najgorszy) przyjaciel. Im więcej, tym lepiej. Modele Stable Diffusion potrafią zjeść gigabajty VRAM. Jeśli masz mało, poszukaj mniejszych modeli (np. „tiny” SDXL), użyj niskiej rozdzielczości generowania lub spróbuj technik oszczędzających pamięć (np. `sdp-attention` w PyTorch, jeśli dostępne).

Optymalizacja i rozwiązywanie problemów

• Aktualizuj sterowniki regularnie. Powtarzam to do znudzenia, bo to numer jeden.
• Sprawdzaj wersje: Czasami nowsza wersja PyTorch czy ROCm/OpenVINO może zepsuć coś, co działało. Warto mieć to na uwadze.
• Fora społeczności: Reddit (r/StableDiffusion, r/LocalLLaMA, r/AMD, r/IntelArc), Discord – to skarbnice wiedzy. Ktoś już pewnie miał taki sam problem jak ty.
• Monitoruj VRAM: Używaj narzędzi typu `radeontop` (Linux AMD), `intel_gpu_top` (Linux Intel) albo Menadżera Zadań (Windows), żeby zobaczyć, ile pamięci zużywa twoja karta.

No i to tyle w kwestii podstaw. Czy naprawdę uruchomisz Llama 3 na swoim gamingowym pececie z Intelem Arc? Jasne, że tak! Trzeba tylko trochę cierpliwości i chęci do nauki. A kto wie, może następnym razem pobawimy się w finetuning własnych modeli?

Najczęstsze pytania

Czy karty AMD/Intel Arc są równie dobre jak NVIDIA do AI?

Do niektórych zastosowań i w zależności od optymalizacji, potrafią być bardzo konkurencyjne, choć ekosystem NVIDII (CUDA) jest nadal szerszy i bardziej dojrzały, zwłaszcza w profesjonalnych zastosowaniach.

Co to jest ROCm/OpenVINO/DirectML?

To są platformy i zestawy narzędzi od AMD, Intela i Microsoftu, które pozwalają deweloperom i użytkownikom na wykorzystanie mocy obliczeniowej kart graficznych (i innych układów) w zastosowaniach AI, stanowiąc alternatywę dla NVIDII CUDA.

Ile VRAM potrzebuję, żeby uruchomić Llama 3 lub Stable Diffusion?

Dla Llama 3 (wersje skwantyzowane GGUF) możesz zacząć już od 8GB VRAM (choć 12-16GB jest wygodniejsze); dla Stable Diffusion potrzebujesz minimum 8GB, ale dla komfortowej pracy z SDXL zalecane jest 12-16GB+.