如何在 Windows 的 Docker Desktop 中啟用 NVIDIA CUDA 支援 (GPU) 分享 📅 2024/02/28 22:33 📁 AI, Container, Windows 由於我多年前買過一張 RTX GeForce 2070 顯卡 (GPU)，雖然僅有內建 8.0 GB 的專屬 GPU 記憶體，但要跑一些小的 LLM 模型還是可以的。最近在嘗試把一些 LLM 應用程式跑在 Docker 容器中，但是發現 Docker Desktop for Windows 預設是不支援 NVIDIA CUDA 的，需要特別設定一下才能使用。這篇文章記錄一下設定的過程。... 繼續閱讀 ...