本地跑大模型，先别急着上 GPU

先别急着买显卡

很多人一接触本地大模型，第一反应就是：得有一张好显卡。群里天天有人晒 4090，看得人心痒。但说实话，大部分刚入门的人，手头那台电脑够用了。

真要跑 70B 那种大模型，家用显卡确实兜不住，那是云端或者机房的事。一开始用 CPU 跑一个小模型，把流程走通，理解输入输出、怎么调 prompt、怎么接应用，这些经验在换到 GPU 之后一点不浪费。

CPU 真的能跑模型吗

能。现在很多量化过的小模型，几百 MB 到 2GB 的都有，笔记本 16G 内存就带得动，速度慢一点，但完全能用来做原型、写脚本、接 API。

慢有慢的好处。等它出结果的时候，你会想清楚问题该怎么组织。用 GPU 生成快，反而容易没想清楚就反复试，浪费时间。

试跑的方法

先跑一个 1B 到 3B 的量化模型感受一下。装好环境，下载模型文件，用命令行或脚本调用。第一次跑通，你会感觉到，大模型也就是几张模型文件加一个程序。

跑的时候注意内存占用，别把系统拖死。留点余量，同时开着浏览器和编辑器都没问题。