本地跑大模型,顯示卡怎麼選

Ollama 裝不下時會把放不下的層挪到記憶體、交給 CPU 算，模型仍然能跑，但速度會從每秒幾十個字掉到個位數，長回答會等到人急。四條救法，按推薦順序：① 換更小的尺寸標籤（14b 換 8b）；② 換更激進的量化（同一模型的 q4 包比 q8 小一半以上）；③ 把上下文長度調小——KV 快取吃的視訊記憶體和上下文長度成正比，這一條最常被忽略；④ 加記憶體（不是視訊記憶體）讓溢位部分跑得沒那麼慘，屬於兜底而非解決。

量化就是把模型權重的精度降下來：原始權重多是 16 位浮點，壓到 8 位、4 位後體積成倍縮小，視訊記憶體需求跟著降，代價是回答質量有損耗。Ollama 預設拉的基本都是 4 位量化（q4_K_M 一類），這是體積與質量的通行折中。以 GLM-4.7-Flash 為例，同一個 30B 級模型，q4 包 19 GB（本站估算需 24.3 GB 視訊記憶體）、q8 包 32 GB（估算 39.9 GB）、bf16 包 60 GB（估算 73.5 GB）——差三倍多。一般用途選預設的 4 位版本就夠，追求還原度再上 q8。

能裝下，但不等於一樣好用。Ollama 支援把一個模型拆到多張卡上跑，兩張 16GB 確實能裝下單張 16GB 裝不下的 32B 模型，而且往往比買一張 32GB 的卡便宜得多。代價有三個：卡間通訊走 PCIe，比單卡內部訪問慢，出字速度打折；要主機板有兩條 ×8 以上插槽、機箱放得下、電源 750W 以上；驅動和散熱的折騰量翻倍。結論：預算緊、視訊記憶體是硬瓶頸就上雙卡；圖省心就單卡大視訊記憶體。

能，而且在大記憶體這一段很有優勢。Mac 的統一記憶體是 CPU／GPU 共享同一塊記憶體池，GPU 可以把其中大部分當視訊記憶體用，所以一台 128GB 的 MacBook Pro 能裝下 70B 級模型，而消費級顯示卡最大也就 32GB。兩個必須知道的前提：① macOS 預設只讓 GPU 用掉約三分之二到四分之三的統一記憶體，標稱容量不等於可用「視訊記憶體」；② 統一記憶體頻寬低於獨顯視訊記憶體（M5 Max 614 GB/s，對比 RTX 5090 D v2 的 1,344 GB/s），Mac 裝得下但出字更慢。一句話：跑 30B 以內看顯示卡，跑 70B 以上看 Mac。

分兩類，結論不一樣。摩爾線程走的是自研 MUSA 棧，官方部落格給過在 MTT S80 上用 Ollama 跑 DeepSeek-R1 蒸餾版的完整教程，S80／S3000／S4000 也支援 llama.cpp，屬於「能跑，但要按廠商文件來」。華為昇騰（Atlas 300I Duo 等）走的是 CANN＋MindIE，Ollama 和 llama.cpp 都沒有官方昇騰後端，等於要換整套推理框架，個人使用者門檻明顯更高。礪算 LX 7G100 官方宣傳支援本地大模型應用，但沒有查到對 Ollama 的明確支援說明，上手前請先確認。共同的短板是生態：出了問題能搜到的答案比 CUDA 少一個數量級。

截至 2026-09，不能。Copilot+ PC 的門檻是 NPU 40 TOPS 以上，新一代晶片普遍到 50～80 TOPS，但 Ollama 官方文件裡的加速後端只有 CUDA（N 卡）、ROCm／Vulkan（A 卡與部分 Intel 卡）、Metal（Mac）和 CPU，沒有 NPU 這一項。實際現象就是：在 AI PC 上跑 Ollama，NPU 使用率基本是零，幹活的還是 CPU 和 GPU。GitHub 上要求支援高通／Intel／AMD NPU 的 issue 掛了很久，官方沒有給時間表。社群有實驗性的 NPU 後端分支，不是官方方案。所以：為了跑 Ollama 配機器，錢該花在視訊記憶體上，不是 NPU 上。