一台拔了网线的机房里,小模型开始自己查账

小模型能自己查文件之后,数据可以不出门了

机柜灯下的一份本地报告

机房里的运维人员

把镜头放进一间不能联网的机房

镜头先不拍模型。拍的是一间机房:窗子贴着封条,机柜上贴着不许外联的纸,值班的人把网线拔了,锁进抽屉。里面那几块盘,装着一家公司的收入流水、客户名单与往来合同。

这种地方过去用不了模型。要么把数据拷出去,要么请一台服务器进来,两条路都贵,都得有人签字。于是智能停在门外,人继续对着表格一个格子一个格子地看。

面壁智能官方账号转过一次实测:让 MiniCPM5-2B 驱动一个调查智能体,查一家公司收入为什么下滑。模型自己翻文件、写查询、读中间结果、决定下一步,最后交出一份带量化诊断的事件报告,中间没有人替它分步。

那份报告出来的时候,数据没有出过这台机器。工具执行、模型推理、原始表格全留在本地。转发里那位作者把它的编码与工具调用能力归给 Agentic Pre-train,这句话指向的不是尺寸,是训练时喂进去的东西。

笔记本上的小模型

两个半 B 参数的模型,现在能干什么

MiniCPM5-2B 是 MiniCPM5 系列第二个模型,2026 年 9 月 7 日发布。据官方模型卡,它是 2B 级稠密 Transformer,面向端侧、本地部署与资源受限的场景;已有演示在 16GB 内存的 MacBook 上跑本地 agent,联网搜索之后在本机总结。

参数 2,516,756,480 个,去掉词嵌入是 1,981,982,720 个。42 层,GQA 16 个查询头配 2 个 KV 头,上下文拉到 131,072。架构就是标准 LlamaForCausalLM,主流推理引擎能直接加载,不必改算子,也不用 fork 一份代码。

许可证是 Apache 2.0。这几行听起来像工程细节,其实是准入门槛:一个团队要不要为它改一套代码,往往就决定它进不进得了生产。改代码这件事的成本,通常比模型本身贵得多。

据官方模型卡,它在同尺寸开源模型里做到最强:34 个基准平均 53.9 分,高过列入对比的更大模型那一档(最高 51.1)。强处集中在代码推理、数学、长文本、工具调用与 agent 任务,恰好是本地干活最缺的几样。

屏幕上的训练曲线

真正变的是后训练:从 SFT 到蒸馏

差别不全来自预训练。官方把后训练拆成三步,第一步是 400B tokens 的 deep-thinking SFT,先让它习惯把思路写长,把中间步骤摆出来,而不是直接抛一个答案。

第二步是专用 RL teacher,分别盯数学、代码、agent 与写作四类任务,用 JustRL II 的 critic-based 算法做强化。一个老师管一件事,不让彼此的成绩互相稀释。

第三步最像蒸馏的活:把 16 个专家模型(其中 5 个是 agentic 专家)用 On-Policy Distillation 收回到一个发布模型里。官方称,RL 加 OPD 让推理与通用能力平均提高 10.96 分,agent 能力平均提高 6.96 分。

训练数据也一并开了:UltraX、UltraData-Code、含 50 万条 agent 样本的 UltraData-SFT-Agent-2609,以及超过 8 万条的 UltraData-RL-2609。这些配方能复现到什么程度,要等社区自己跑一遍才算数。

评测分数对照表

独立评测里最刺眼的一项

上面都是官方口径。换个不相干的地方看:Artificial Analysis 的 Intelligence Index v4.2 给它 15 分,是 4B 参数以下开源权重模型里的最高分。榜单上这一档排得很密,差一分就能挤出好几个名字。

agent 类指标更该盯。GDPval-AA v2 为 831 Elo,人类锚点在 1000。τ³-Banking 是 21%,与 Ling 3.0 Tiny 并列第一,排在其后的 Granite 4.2-8B 为 8%。AA-Briefcase 438 Elo。

这几行的意思不是它很聪明。是它在一批需要连续调工具、看结果、再决定下一步的题上,分数没有塌。这类活以前一到多轮,小模型就散,第三轮开始重复,第五轮开始编。

21% 放在人的直觉里很低。但横向比,它说明这一档模型的 agent 能力远没到能用满的程度,只是刚够坐上牌桌。第一名与第八名之间那段距离,才是天花板真正的位置。

你该在哪里用它,不该在哪里用

该用的地方很清楚:数据不能出门的场合。本地文档检索、内网工单归类、日志初筛、离线设备上的文本入口,这些活不需要模型无所不知,只要它守规矩、少编、把出处指对。

服务端两条路:vLLM 需要 0.21 以上,SGLang 需要 0.5.16 以上。官方推荐工具调用走 SGLang,内置的 minicpm5 parser 会把 XML 格式的工具调用转成 OpenAI 兼容的 tool_calls,接现有框架时省掉一层胶水。

端侧更杂:llama.cpp、Ollama、LM Studio 走 GGUF,苹果芯片上有 4bit MLX,手机与 IoT 那头是 LiteRT-LM。官方称 Arm SME2 设备上预填充快 1.7 倍、解码快 1.2 倍,另支持 Intel Core Ultra 与瑞芯微 RK3588。

不该用的地方同样清楚。要它替你做一次没有回头路的判断,或者让它读完几十页满是例外条款的合同然后签字,都不合适。21% 那一项就摆在那里,它出错的方式往往是看起来很有条理。

结尾:智能往下走,数据就不必往上走

过去两年智能是一条往上的路:参数更多,集群更大,数据往中心汇。MiniCPM5-2B 这类模型指的方向反过来,智能往下走,走到笔记本、走到手机、走到那台拔了网线的机房。

数据不必往上走,判断可以就地做完。这个变化不需要发布会来宣布,它发生在某个值班的人不用再填那张数据外发申请表的那天。流程表上少一张纸,人就能早半小时回家。

机房的窗子还封着。里面的机器,开始自己看文件了。

十几万人签名,救不回英伟达的 CEO
下一篇
十几万人签名,救不回英伟达的 CEO
十几万人签名要黄仁勋回来,董事会数的却是股数不是人头。
继续下滑 或 点击阅读下一篇
下一篇 十几万人签名,救不回英伟达的 CEO →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款