本地跑大模型,显卡怎么选

Ollama 装不下时会把放不下的层挪到内存、交给 CPU 算，模型仍然能跑，但速度会从每秒几十个字掉到个位数，长回答会等到人急。四条救法，按推荐顺序：① 换更小的尺寸标签（14b 换 8b）；② 换更激进的量化（同一模型的 q4 包比 q8 小一半以上）；③ 把上下文长度调小——KV 缓存吃的显存和上下文长度成正比，这一条最常被忽略；④ 加内存（不是显存）让溢出部分跑得没那么惨，属于兜底而非解决。

量化就是把模型权重的精度降下来：原始权重多是 16 位浮点，压到 8 位、4 位后体积成倍缩小，显存需求跟着降，代价是回答质量有损耗。Ollama 默认拉的基本都是 4 位量化（q4_K_M 一类），这是体积与质量的通行折中。以 GLM-4.7-Flash 为例，同一个 30B 级模型，q4 包 19 GB（本站估算需 24.3 GB 显存）、q8 包 32 GB（估算 39.9 GB）、bf16 包 60 GB（估算 73.5 GB）——差三倍多。一般用途选默认的 4 位版本就够，追求还原度再上 q8。

能装下，但不等于一样好用。Ollama 支持把一个模型拆到多张卡上跑，两张 16GB 确实能装下单张 16GB 装不下的 32B 模型，而且往往比买一张 32GB 的卡便宜得多。代价有三个：卡间通信走 PCIe，比单卡内部访问慢，出字速度打折；要主板有两条 ×8 以上插槽、机箱放得下、电源 750W 以上；驱动和散热的折腾量翻倍。结论：预算紧、显存是硬瓶颈就上双卡；图省心就单卡大显存。

能，而且在大内存这一段很有优势。Mac 的统一内存是 CPU／GPU 共享同一块内存池，GPU 可以把其中大部分当显存用，所以一台 128GB 的 MacBook Pro 能装下 70B 级模型，而消费级显卡最大也就 32GB。两个必须知道的前提：① macOS 默认只让 GPU 用掉约三分之二到四分之三的统一内存，标称容量不等于可用「显存」；② 统一内存带宽低于独显显存（M5 Max 614 GB/s，对比 RTX 5090 D v2 的 1,344 GB/s），Mac 装得下但出字更慢。一句话：跑 30B 以内看显卡，跑 70B 以上看 Mac。

分两类，结论不一样。摩尔线程走的是自研 MUSA 栈，官方博客给过在 MTT S80 上用 Ollama 跑 DeepSeek-R1 蒸馏版的完整教程，S80／S3000／S4000 也支持 llama.cpp，属于「能跑，但要按厂商文档来」。华为昇腾（Atlas 300I Duo 等）走的是 CANN＋MindIE，Ollama 和 llama.cpp 都没有官方昇腾后端，等于要换整套推理框架，个人用户门槛明显更高。砺算 LX 7G100 官方宣传支持本地大模型应用，但没有查到对 Ollama 的明确支持说明，上手前请先确认。共同的短板是生态：出了问题能搜到的答案比 CUDA 少一个数量级。

截至 2026-09，不能。Copilot+ PC 的门槛是 NPU 40 TOPS 以上，新一代芯片普遍到 50～80 TOPS，但 Ollama 官方文档里的加速后端只有 CUDA（N 卡）、ROCm／Vulkan（A 卡与部分 Intel 卡）、Metal（Mac）和 CPU，没有 NPU 这一项。实际现象就是：在 AI PC 上跑 Ollama，NPU 使用率基本是零，干活的还是 CPU 和 GPU。GitHub 上要求支持高通／Intel／AMD NPU 的 issue 挂了很久，官方没有给时间表。社区有实验性的 NPU 后端分支，不是官方方案。所以：为了跑 Ollama 配机器，钱该花在显存上，不是 NPU 上。