8G 显存跑本地大模型，我实测了 6 个-俗人源码网

本地部署大模型实测

8G 显存跑本地大模型，我实测了 6 个

从 Qwen 到 Llama，从 7B 到 32B，全部在这张 4060 上跑过。哪些真能用，哪些只是能跑起来，数据说话。

为什么要在本地跑

三个理由，按重要性排：

数据不出门 —— 处理客户资料、内部文档时这是硬要求
不计费 —— 高频调用时 API 成本会吓人
离线可用 —— 断网也能用

先泼冷水
8G 显存能跑的模型，能力上限大概相当于 GPT-3.5。想达到 GPT-4 水平，需要 24G 以上显存或量化到 4bit 的 32B 模型，那样速度会掉到每秒 3-5 个 token，体验很差。

测试环境

项	配置
显卡	RTX 4060 8G
内存	32G DDR4
系统	Ubuntu 22.04
推理框架	Ollama 0.3.x
量化	Q4_K_M（除非特别说明）

六款模型实测数据

模型	参数量	占用显存	生成速度	中文能力
Qwen2.5-7B	7B	5.2G	38 t/s	★★★★★
Llama3.1-8B	8B	5.8G	33 t/s	★★★☆☆
Gemma2-9B	9B	6.4G	29 t/s	★★★☆☆
DeepSeek-R1-Distill-7B	7B	5.4G	31 t/s	★★★★☆
Qwen2.5-Coder-7B	7B	5.3G	36 t/s	★★★★☆
Qwen2.5-14B	14B	9.1G	11 t/s	★★★★★

14B 是分水岭
8G 显存跑 14B（Q4 量化）会溢出到内存，速度掉到 11 t/s，而且第一次加载要等 40 秒。能用，但体验明显变差。

逐个说

Qwen2.5-7B —— 中文场景最优解

中文理解明显强于 Llama 和 Gemma。让它写技术文档、改文案、做摘要，输出质量接近 GPT-3.5。

ollama run qwen2.5:7b

日常问答、写代码注释、翻译，用它就够了。

Llama3.1-8B —— 英文好，中文一般

英文推理能力很强，但中文输出有明显的「翻译腔」，而且偶尔会中英混杂。

处理英文文档、写英文邮件可以用，中文场景不推荐。

Gemma2-9B —— 速度最慢但输出最稳

Google 的模型，特点是「话少但准」。同样的问题，Qwen 可能啰嗦三段，Gemma 两句话说完。

缺点是 9B 参数在 8G 卡上已经很吃力，多开一个浏览器标签就可能 OOM。

DeepSeek-R1-Distill-7B —— 会思考，但不一定对

蒸馏版保留了 thinking 过程，你能看到它推理的每一步。

问题在于：它的思考过程经常是错的，但结论碰巧对了。 遇到过好几次推理走偏、最后答案正确的推理题。

适合做数学题、逻辑题，不适合需要严谨推理的场景。

Qwen2.5-Coder-7B —— 写代码专用

补全质量比通用版高一截，尤其是 Python 和 JS。

但它只会写代码，问它别的问题会硬往代码上扯。

Qwen2.5-14B —— 质量最好，但别在 8G 上跑

中文能力确实强，写长文逻辑连贯。但 9.1G 显存需求超过了 8G 上限，走的是「显存 + 内存」混合模式。

11 t/s 的速度，读一段 500 字的回答要等 45 秒。 能用，但不会想用。

怎么选

你的需求	选这个
中文日常问答	Qwen2.5-7B
写代码补全	Qwen2.5-Coder-7B
英文文档处理	Llama3.1-8B
要简短准确的回答	Gemma2-9B
数学/逻辑题	DeepSeek-R1-Distill-7B
想要最好质量，不在乎慢	Qwen2.5-14B

实际部署（含 Web UI）

Ollama 只提供命令行，加个 Open WebUI 才有聊天界面：

# 起 Ollama
docker run -d --gpus all \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

# 拉模型
docker exec -it ollama ollama pull qwen2.5:7b

# 起 Web UI
docker run -d \
  -p 3000:8080 \
  --add-host=host.docker.internal:host-gateway \
  -v open-webui:/app/backend/data \
  --name open-webui \
  ghcr.io/open-webui/open-webui:main

浏览器打开 http://localhost:3000，注册账号即可。

省显存技巧
Open WebUI 本身的 embedding 模型也会占显存。如果只聊天不用知识库，在设置里把 RAG 关掉，能省 1.5G 左右。

我的结论

8G 显存能跑，但只能跑 7B 级别。

如果你的需求是：

处理敏感数据，不能上云 → 值得，Qwen2.5-7B 够用
想要 GPT-4 级别的能力 → 别折腾，老老实实用 API
只是好奇想试试 → 跑一次 Qwen2.5-7B 就行，别装一堆

实测下来，7B 模型能完成的任务，大约相当于 GPT-3.5 的 80%。对于「格式化文本」「翻译」「简单代码」这类任务完全够，对于「复杂推理」「长文创作」还差得远。

一句话总结8G 显存的最优解是 Qwen2.5-7B。想要更好效果就得加显存，想省钱就用 API，中间地带最难熬。

俗人源码网免责声明：

1、本站所有资源均收集于互联网，分享目的仅限学习与参考。如有侵权，请联系 1685698671@qq.com 及时删除！

2、本站资源不保证完整性和安全性，下载后请自行检测。使用过程中出现的任何问题均与本站无关，敬请自行处理。

3、本站资源仅限个人学习研究使用，严禁用于任何违法违纪用途。因使用者违规使用产生的一切后果，由使用者自行承担，本站不承担任何责任。

8G 显存跑本地大模型，我实测了 6 个