llama.cpp 1.0:本地 AI 的成年礼

llama.cpp 发 1.0,本地大模型有了稳定契约

2026 年 11 月 13 日,llama.cpp 和它底层的张量库 ggml 一起发布了 1.0.0。这是这个项目三年半以来的第一个稳定版本,由 Hugging Face CEO 与作者 ggerganov 共同宣布。翻译成人话:那个让你在笔记本、手机甚至开发板上跑大模型的程序,正式成年了。

先说清楚一件事:1.0 不改变任何你现在正在用的 App。官方把话说得很明白,这个版本是给开发者、给整条产业链的稳定性承诺。普通用户手里的 AI 工具,不会因为这次更新有任何变化。这条新闻真正的读者,是写代码的人。

笔记本屏幕前亮着的开源AI代码窗口

一台老式电脑屏幕上的绿色代码

回到三年半前的那个仓库

把时间拨回 2023 年春天。那时 ChatGPT 刚把大模型塞进所有人的耳朵,多数人只能隔着浏览器访问它:要联网、要注册、要排队,模型跑在别人家的服务器上。ggerganov 觉得不对劲,他写了一个小项目,让 LLaMA 模型不靠数据中心,只用 CPU 就能在本地跑起来。

那个仓库一开始没有版本号。代码堆在 GitHub 上,commit 一个接一个,README 简单得像课堂作业。但它解决了一个真问题:AI 不再需要电力和机柜,一台普通笔记本就够。开发者像潮水一样涌进来,issues 里塞满了用法和报错。

当时的做法谈不上优雅。把几十亿参数的模型压进普通内存,速度慢,发热明显,风扇一直响。可它就是能跑。对很多人来说,这是第一次在自己机器上看见大模型开口说话,屏幕暗下去的时候,屋子里只有风扇声。

三年半里,它不宣传自己。没有发布会,没有公关稿,只有一个接一个的 commit。直到 2026 年 11 月 13 日,tag 停在 1.0.0,项目第一次给自己贴上「稳定」的标签。

开发者敲打键盘的手部特写

1.0 承诺了什么

对开发者来说,1.0 是一张契约。它立下语义化版本规则:今后 API 和 ABI 的破坏性改动,只随大版本号走;同时删掉 35 个废弃函数,把历史包袱清干净。下游项目从此可以放心地站在它上面写代码,不用担心某天接口悄悄变掉。

这张契约对打包的人尤其重要。一个库如果三天两头改接口,Debian、Homebrew 这些维护者就得跟着反复改配方,改到后来没人愿意收。版本规则立稳了,它才进得了系统仓库,成为别人默认装上的那一份。

对普通用户来说,这张契约是隐形的。你手机里的聊天软件、电脑上的本地助手,底层可能都垫着 llama.cpp——但 1.0 发布那天,这些 App 一个像素都不会变。官方说得直白:它不改变任何你正在用的程序。

契约的意义在于让系统长大。蒸汽车头刚出现时,每个作坊各造各的锅炉;等锅炉有了统一标准,铁路才跑得起来。llama.cpp 的 1.0,干的是差不多同一件事。

桌上排开的笔记本电脑与手机

它今天长成了什么样

先看数字:支持 150 多种模型架构,主流投机解码方法基本齐全;能从手机一路跑到工作站;官方渠道覆盖 Linux、macOS、Windows、Android、iOS,外加 Docker、Debian、Homebrew、conda-forge、MacPorts、Winget 各个包管理器。

测试硬件由 NVIDIA、AMD、Qualcomm、Arm、IBM、Intel 提供,半导体行业的半壁江山都在这张名单上。换句话说,它的每次改动都要在真实的手机、真实的显卡、真实的服务器上跑一遍,而不是只在作者的机器上看起来没问题。

再看细节。1.0 新增 FP8 KV 缓存,长文本对话的内存压力小一截;MoE 模型可以用主机内存做专家缓存,显存不够也能跑。llama-server 顺带修掉了 SSRF、CORS、DNS rebinding 三类漏洞,本地服务一旦暴露到公网,这些洞就是门。

它还加了 OpenAI 兼容的 /v1/audio/speech 音频端点,网页界面重做,支持会话分组和 Markdown 编辑器。这些零碎拼在一起,图景很清楚:当初那个「在 CPU 上跑 LLaMA」的小工具,已经长成了能顶住产品级使用的平台。

在家中使用电脑的安静身影

「AI 主权」不是一句口号

这次发布藏着这个项目最根本的主张:AI 应该分布式,而不是集中在少数机构手里。数据不出设备,模型在自己机器上跑,智能由用户自己掌控——立场写在代码里,不需要演讲。

在本地跑模型,每一步都在把智能留在自己手上。聊天记录不上传,文档不经过别人的服务器,断网断电时模型照常工作。这种拥有感,是云端 AI 给不了的。

当然,本地跑也有代价:模型更小、速度更慢、要自己折腾。它没打算取代云端,只是给「不想把一切交出去」的人留了一条路。当一个工具把选择权交回来,它就不再只是软件,更像一种态度。

清晨光线下的火车站台

结尾:公共设施的早晨

一个没有版本号的仓库,三年半后成了无数产品的底座。它没砸钱推广,就靠 commit、issue 和文档,一点点长成数字世界的公共设施——像路灯,像自来水,平时没人注意,断供了才知道多要紧。

v1.0.0 是它给自己的成年礼。150 多种架构只是过去式,FP8 缓存只是起点。当越来越多的人能离线、私密、自由地跑自己的模型,这条路就走到了 AI 真正回到个人手上那天。

故事的下一页不在发布公告里,而在每一个深夜打开终端、敲下启动命令的人手里。

AI写代码四个月便宜20倍,慌不慌?
下一篇
AI写代码四个月便宜20倍,慌不慌?
AI写代码四个月便宜20倍,试错不要钱,转述型工作开始贬值
继续下滑 或 点击阅读下一篇
下一篇 AI写代码四个月便宜20倍,慌不慌? →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款