把大模型压进一张软盘

435KB 装下能说话的模型,靠的是什么

一句话:这不是炫技,是一次极限拉伸。Claude 自己写了 transformer,另一个大模型造出约 3500 条事实、闲聊与数学数据,训出 36.7 万(367K)参数的模型。权重按 8bit 整数存,程序加权重约 435KB,能进 DOS 内存和一张软盘,在 Pentium 机器上跑起来。

把这三句拆开:写代码的是 Claude Fable 5.2,造数据的是 Opus 5.5,训出来的是个只有 367K 参数的小东西。整条链路没人手写模型结构,也没人手工标注语料,全是大模型自己套娃。

划重点,它真正想说的不是「AI 会做实验」,而是一道大多数人忽略的算术:模型大小等于参数乘精度乘词表。435KB 能装下一个会说话的模型,是因为这三项被压到了极致。往下读你会看清它为什么只能聊「见过的东西」,以及这个尺寸为什么能当一把尺子。

桌面上摆着老电脑和一张软盘

老式计算机旁摆着一张软盘

435KB 的秘密是三道算术

先给结论:435KB 不是奇迹,是三道乘法一起缩出来的。第一道是参数。这个模型只有 367K 参数,而今天手机上跑的模型动辄 10 亿(1B)参数起步,是它的三千倍量级。参数越少,身子越小。

第二道是精度。权重不用常见的 32 位浮点,压成 8bit 整数存。这一个动作,就把每个权重占的空间砍到原来的四分之一。说白了,浮点精度在这种小模型上是奢侈品,整数够用。

整数有个坑:同一行权重的数值范围可能差得很远,一刀切会切出巨大误差。它的解法是每行配一个 scale,把这行权重一起缩放到某个区间,存好系数,读的时候再乘回去。一行一个系数,开销小到可以忽略,精度却保住了。

再补一个物理上限:3.5 寸软盘是 1.44MB,435KB 连三分之一都占不到,剩下大半是空的。所以「装进一张软盘」不是比喻,它真能被带走、被塞进抽屉。

第三道是词表,这道最关键。它不按 token 读写,而是一个字母一个字母地处理。传统语言模型要背几千上万词的词表,它只要几十个字母加空格。词表小了,输出端那层矩阵跟着塌缩。三道加在一起,435KB 的账就算平了。

放大镜照着电路板上的小芯片

逐字母为什么让模型变小

你可能会问:逐字母不是更笨吗?恰好相反,这是精明的省料。模型输出一个词,要在「词表大小」这个维度上打一次分。词表一万个词,就输出一万个分数;词表只有二十六个字母加几个标点,就输出三十来个分数。

少一个数量级的分数,对应的权重矩阵就小一个数量级。这就是它能塞进软盘的原因。代价是慢:一句「你好」它得逐字母吐出来。可在这个实验里,慢不算缺点,小才是硬指标。

还有一层容易被忽略:逐字母意味着它只学字母之间的接续,不学词。所以碰到没见过的生字串,它照样一格一格往下拼,不会像词表模型那样直接甩出「未知符号」。这种「能拼但不保证有意义」的特性,既是它省空间的原因,也是它胡说八道的根源。

划重点:它牺牲速度,换来的是「可交付尺寸」。这个权衡跟今天的商用模型完全反着来——大家宁愿大,也要快。可一旦目标变成塞进一张软盘,逐字母反而是唯一能把账算平的路径。

一摞旧书堆在书桌上的画面

为什么它只会聊见过的东西

这才是实验最诚实的地方。参数只有 367K,训练数据只有约 3500 条。3500 条是什么概念?一本正经的教科书里就有几万句,这 3500 条基本是一本小册子的容量。

所以它不是「会推理」,而是「会记忆」。答得上来的事实,是权重里真记着的那几条;367K 参数的容量,塞不下把多个概念重新搭起来的能力。

它逐字母读写,对见过的事实和词表现不错,可复杂或过长的问题一出手,就是完全无意义的内容。这不是偶发故障,是容量到顶后的必然。

说白了,它是个带检索式记忆的复读机,不是思考者。这正好暴露小模型的一条铁律:参数可以让位,数据没法让位。权重能压到 8bit,但「知识的量」压不进 435KB——知识本身是有体积的。

一把木尺摆在老式打字机旁边

这个实验的价值是一把尺子

别误会,我没否定这个实验。它的价值不在对话多聪明,而在它做了今天几乎没人做的一件事:把「可交付尺寸」当硬指标来算账。

算笔账就懂。10 亿参数按 8bit 存,约占 1GB;这个 435KB 的小家伙,连 1GB 的零头都不到,大概是它的两千分之一。你在手机上跑一个 1B 模型,说「很轻」,可它要的存储和算力,是这张软盘的几千倍。

再把视角抬高一点:今天几百亿、几千亿参数的东西,贵不在算法,贵在这道乘法。参数翻十倍,存储和算力跟着翻;精度从 8bit 回到 16bit,体积再翻一倍。尺寸是钱,也是电。

这一对比,「人人都在堆参数」就显得魔幻了。我们把模型越做越大,却很少人问:做到多大才算够?每当你想把 AI 装进低功耗设备、一台老机器、一个嵌入式模块,这把尺子就能量出差距。

所以我的两条判断:一,小模型的天花板从来不是参数,而是数据。367K 参数本身不成问题,卡住它的那 3500 条才是真瓶颈。二,这类实验的用途不在产品,在教学与嵌入式——让学生亲手看到每一步便宜在哪,比听一百遍理论管用;给离线小设备一个能跑的模型,比云端来回转发实在。

但这里有个前提得先说清:它证明的是「小模型能运行」,不是「小模型能用」。在 Pentium 上跑起来是工程上的胜利;可问题一旦超出那 3500 条的见识,它立刻崩成一堆乱码。能跑和能用,两码事。

顺便回答几个问题

问:这算什么级别的 AI?

答:更像一个按字母拼出记忆的复读机,离「智能」还有很长的距离。它证明了物理上装得下,不代表能力上够得着,这两件事千万别混。

问:普通人能拿 435KB 做一个 AI 吗?

答:技术门槛不高,门槛在数据。想让它有用,你得先攒够几十万条高质量样本,而数据往往比模型本身更贵,这一步谁也省不掉。

问:软盘时代的逆袭真来了吗?

答:未必。它证明的是「小模型能运行」,不是「小模型能用」。问题一旦超出那 3500 条的见识,它立刻崩掉,这个前提得先认清。

国产算力的一天:从价签到车间
下一篇
国产算力的一天:从价签到车间
上午开源盘古把价格摆上价签,下午世界模型进车间
继续下滑 或 点击阅读下一篇
下一篇 国产算力的一天:从价签到车间 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款