一句话结论
本地部署 DeepSeek 不需要服务器,一台 16GB 内存的普通电脑就能跑起来,用 Ollama 三条命令即可完成。但你要先接受一个前提:本地能跑的永远是蒸馏版或量化版,不是官网那个满血版本,能力差距明显,选对用途比选对参数更重要。
速查清单:先看这三条再动手
- 内存 16GB、无独显 → 选 7B/8B 级别的 4bit 量化版,能用,速度慢但不卡死。
- 显存 8GB 独显 → 可以跑 7B/8B 的 GPU 加速,日常问答、改写、翻译够用。
- 想接近官网体验 → 本地基本做不到,除非 24GB 以上显存或 64GB 内存,且接受几十秒的响应延迟。
先分清:DeepSeek 有好几个版本,你装的是哪一个
这是新手第一个认知误区。网上教程里的 "DeepSeek" 至少指三种东西,能力差一个数量级:
| 类型 | 典型标识 | 本地可跑吗 | 适用场景 |
|---|---|---|---|
| 满血版(MoE 大参数) | 671B 级别原版 | 个人机器不可行 | 官方网页/API |
| 蒸馏版 | 1.5B / 7B / 8B / 14B / 32B / 70B | 可以,越小越好跑 | 问答、改写、摘要、代码补全 |
| 量化版 | 带 Q4、Q5、Q8 后缀 | 可以,体积减到 1/4 左右 | 同等硬件跑更大参数量 |
一句话记法:参数里带 B 的数字越小越好跑,带的 Q 数字越小越省资源、精度损失越大。7B 的 Q4 量化版,模型文件体积通常在 4~5GB 区间,具体取决于量化工具与词表,下载页面会直接标出。
为什么很多人第一步就劝退了(原理口径)
本地跑大模型真正的瓶颈是内存带宽,而不是算力。模型推理时每生成一个字,都要把整个权重读一遍。所以能不能跑,看的是「装得下吗 + 每秒能读多少 GB」。
粗略换算口径(经验值,随量化方式与上下文长度浮动):
- 4bit 量化模型,每 10 亿参数约占 0.6~0.7GB 内存;7B 约 5GB,14B 约 9~10GB,32B 约 20GB。
- 还要额外留 2~4GB 给上下文和运行环境,上下文开得越长,占用越多。
- 纯 CPU 推理速度常见在每秒 3~10 个 token(token 是模型处理的最小文本单位,中文约 1~2 字),取决于内存带宽与线程数。
硬件对照表:你的机器该装哪个
| 硬件配置 | 建议模型规模 | 实际体验 |
|---|---|---|
| 8GB 内存 / 无独显 | 1.5B~3B Q4 | 能跑,问答偏简单,别指望写长文 |
| 16GB 内存 / 无独显 | 7B~8B Q4 | 日常可用,长篇回答要等 |
| 32GB 内存 / 无独显 | 14B Q4 | 质量明显好一档,速度约每秒十几个 token |
| 16GB 内存 + 8GB 显存 | 7B~8B Q4 全 GPU | 流畅,接近在线聊天工具的手感 |
| 32GB 内存 + 24GB 显存 | 32B Q4 | 本地体验较好的一档 |
我的判断:如果只是为了「体验一下」,没必要为这个升级硬件。本地部署真正的价值在两处——数据不出本机,以及断网可用。
操作步骤:Ollama 路线,从零到跑通
选 Ollama 的理由:安装包双击即用,跨 Windows / macOS / Linux,模型拉取和运行是一条命令,省掉自己配 Python 环境和推理框架的环节。代价是参数调节不如原生框架细。
- 装运行环境。到 Ollama 官网下载对应系统安装包,Windows 双击安装,默认装到用户目录;装完在开始菜单能看到 Ollama 图标,托盘出现小羊驼图标即成功。
- 验证命令可用。按
Win + R输入cmd回车,输入ollama -v,返回版本号说明环境正常。 - 拉取模型。输入
ollama run deepseek-r1:7b,会自动下载 4~5GB 文件。国内网络慢可以加国内镜像源,或换deepseek-r1:1.5b先试水。 - 对话测试。下载完会直接进入对话界面,输入「用三句话解释什么是内存泄漏」验证输出是否连贯。
- 退出与再次启动。
/bye退出对话;下次直接ollama run deepseek-r1:7b,不再重复下载。 - 接图形界面(可选)。想要网页式聊天界面,可搭配 Open WebUI 或 Chatbox 这类客户端,指向本机 Ollama 服务地址即可。它们各有安装步骤,属于额外一层,不影响主流程。
验收标准:怎么算部署成功
ollama list能看到已下载的模型名与体积。- 断网状态下仍能正常对话——这一条最关键,直接证明跑在本机。
- 回答完整、不崩、不乱码,单轮响应在可接受等待内。
- 连续提问五轮以上不出现上下文错乱,说明上下文窗口配置合理。
常见误区与踩坑记录
- 以为本地版等于官网版。蒸馏版是把大模型的能力「教」给小模型,逻辑推理和多步任务差距明显。让它写长代码、做复杂推理,翻车概率高。
- 教程给你装的是 1.5B,却按 70B 的效果期待。先确认
ollama list里的标签,再看硬件表对不对得上。 - 把模型装在系统盘。默认路径在 C 盘用户目录,一个 32B 模型就是 20GB 起步。提前改环境变量
OLLAMA_MODELS指向其他盘,能省一次搬家。 - 内存不够硬上大模型。内存被吃满后系统会疯狂读写虚拟内存,表现为「整个电脑卡死」,不是模型慢,是机器在换页。
- 以为接上显卡就自动加速。有的版本需要手动指定 GPU 层数,或显卡驱动过旧导致回落到 CPU 推理。看启动日志有没有 GPU 相关字样。
- 关掉窗口以为服务停了。后台服务常驻会占用内存,不想要了在托盘退出,或结束对应进程。
注意与安全提醒
- 只从官方渠道下载运行环境和模型,第三方打包的「一键整合包」可能夹带广告或不必要的组件。
- 本地部署 不等于隐私绝对安全:如果你后续把本机服务端口暴露到公网,等于把模型开放给所有人。默认不要做端口映射。
- 本地模型会一本正经地编造事实,涉及医疗、法律、财务的结论必须自己核实。
- 笔记本长时间满载推理发热明显,注意散热,别放在被褥上跑。
适合谁 / 不适合谁
适合:手头有闲置电脑想练手的人、处理不便上传的文档、需要断网环境下查资料、想弄清大模型到底怎么跑起来的学习者。
不适合:要写复杂代码、做多步推理任务的人;只想快点问个问题的人;电脑内存不足 16GB 且不愿意降级到小模型的人。
判断标准回顾
部署前问自己三个问题:我的内存或显存装得下哪个 B 数的量化模型?我要用它干什么?断网可用和隐私不出本机,对我是不是真的重要?三个答案都有,就按上面的硬件表选一档跑起来。三个答案缺了两个,用在线服务更省事——本地部署是能力,不是义务。
本文信息截至 2026 年 11 月。模型标签、体积与默认路径可能随版本更新变化,动手前以官方页面与本地 ollama list 实际输出为准。







