"本地部署"这四个字听着像技术活，其实现在门槛已经降得很低。
装个软件，下载一个模型文件，点开就能聊。全程不用联网。
它凭什么能跑在你自己的机器上？代价又是什么？
本地跑，靠的是什么
两个关键技术。
第一，量化。模型原本参数精度很高，占空间大。量化就是把精度压下来（比如从 16 位压到 4 位），体积缩到几分之一，效果损失通常不大。
第二，小模型。现在的开源小模型，几亿到几十亿参数，在普通笔记本上就能跑，日常问答、写东西够用。
两者一结合，一台带独显的普通电脑，或者一台好点的笔记本，就能跑起来。
本地跑的好处
数据不出门。你说的话、传的文件，全程在你自己机器上。这对处理合同、病历、客户资料特别重要。
不花钱。只要电费。想聊多久聊多久。
不怕断网。飞机上、没信号的地方也能用。
能定制。可以接自己的资料库、可以调教成特定角色。
代价是什么
说实话，代价也很明确。
第一，效果差一截。你本地能跑的那点参数，跟云端几百亿上千亿的模型比，能力差得远。复杂推理、长文档、多语言，它会明显吃力。
第二，慢。本地推理速度取决于你的显卡，往往比云端慢。尤其生成长内容时，一个字一个字往外蹦。
第三，吃硬件。虽然门槛降了，但要好效果还是得有好显卡。内存、显存、散热，都是成本。
第四，要动手。装环境、选模型、调参数——虽然简单了，但不是点开就能用。
手机上的 AI 又是另一回事
手机里的 AI 分两种：
一种在云端跑。你输入文字，传到服务器算完再传回来。手机只是个显示器。这类体验好，但要联网、要花流量。
一种在手机本地跑。参数压得极小（几亿到几十亿），直接在你手机上算。能离线、绝对隐私，但只能干轻活：简单问答、输入法联想、图片处理。
所以手机上的"AI 能力"，看宣传时得问一句：是本地跑还是云端跑？本地跑的能力有限，云端跑的依赖网络。
什么情况值得折腾本地
值得：
- 你经常处理敏感资料，不能上网；
- 你用量很大，按次付费心疼；
- 你想学，愿意花时间折腾；
- 你需要断网环境。
不值得：
- 只是日常聊天、写文案——用云端就够了，效果好还省事；
- 电脑配置一般——折腾半天跑起来慢得难受；
- 需要最强效果——本地永远追不上云端旗舰。
一句话带走
本地跑，是用"效果和速度"换"隐私和自由"。
量化让小模型能塞进普通电脑，手机上的 AI 多是云端在算。
真要本地跑，先想清你到底图什么。
下一篇：微调（Fine-tuning）——把通用 AI 养成你的专属员工。
