Tento průvodce pokrývá nejčastější chyby při používání GPU pro AI výpočty, akceleraci v Dockeru a práci s knihovnami CUDA.

Tato chyba se obvykle objevuje po aktualizaci systému nebo ovladačů, kdy jádro systému (kernel) stále používá starou verzi modulu, ale v systému je již nová verze.

Příznaky:

• Příkaz nvidia-smi vrací: „NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver.“

Řešení:

1. Restart systému: V 90 % případů vyřeší problém (zavede se správný modul).
2. Reload modulu (Linux): Pokud nemůžete restartovat, zkuste:

sudo rmmod nvidia_uvm
sudo modprobe nvidia_uvm

K této chybě dochází, když se pokoušíte načíst model, který je větší než dostupná kapacita vaší VRAM.

Řešení:

1. Kvantizace: Použijte menší verzi modelu (např. místo 8-bitové verze použijte 4-bitovou Q4_K_M).
2. Snížení kontextu: Zmenšete context window (např. z 32k na 8k tokenů).
3. Ukončení ostatních aplikací: Prohlížeče (Chrome) a grafické editory mohou blokovat i několik GB VRAM.

Stav, kdy systém hlásí různé verze CUDA v různých nástrojích.

Řešení:

• Pro běh aplikací (Inference) je důležitá verze v nvidia-smi.
• Pro kompilaci kódu musíte aktualizovat CUDA Toolkit tak, aby odpovídal požadavkům vaší knihovny (např. PyTorch).

Chyba: „could not select device with capabilities: gpu“

Kontrolní seznam:

1. Je na hostiteli nainstalován [[it:nastaveni_gpu_v_dockeru|NVIDIA Container Toolkit]]?
2. Byl po instalaci restartován Docker démon (''sudo systemctl restart docker'')?
3. Máte v ''docker-compose.yml'' správně definovanou sekci ''deploy.resources''?

Pokud nevíte, kde je chyba, spusťte tyto příkazy a výstupy přiložte k ticketu:

— Související:

• Správa NVIDIA ovladačů
• Konfigurace Dockeru
• Vše o CUDA

— Správce supportu: @L2_Support Aktualizováno: 04. 01. 2026