一句话:这不是炫技,是一次极限拉伸。Claude 自己写了 transformer,另一个大模型造出约 3500 条事实、闲聊与数学数据,训出 36.7 万(367K)参数的模型。权重按 8bit 整数存,程序加权重约 435KB,能进 DOS 内存和一张软盘,在 Pentium 机器上跑起来。
把这三句拆开:写代码的是 Claude Fable 5.2,造数据的是 Opus 5.5,训出来的是个只有 367K 参数的小东西。整条链路没人手写模型结构,也没人手工标注语料,全是大模型自己套娃。
划重点,它真正想说的不是「AI 会做实验」,而是一道大多数人忽略的算术:模型大小等于参数乘精度乘词表。435KB 能装下一个会说话的模型,是因为这三项被压到了极致。往下读你会看清它为什么只能聊「见过的东西」,以及这个尺寸为什么能当一把尺子。


435KB 的秘密是三道算术
先给结论:435KB 不是奇迹,是三道乘法一起缩出来的。第一道是参数。这个模型只有 367K 参数,而今天手机上跑的模型动辄 10 亿(1B)参数起步,是它的三千倍量级。参数越少,身子越小。
第二道是精度。权重不用常见的 32 位浮点,压成 8bit 整数存。这一个动作,就把每个权重占的空间砍到原来的四分之一。说白了,浮点精度在这种小模型上是奢侈品,整数够用。
整数有个坑:同一行权重的数值范围可能差得很远,一刀切会切出巨大误差。它的解法是每行配一个 scale,把这行权重一起缩放到某个区间,存好系数,读的时候再乘回去。一行一个系数,开销小到可以忽略,精度却保住了。
再补一个物理上限:3.5 寸软盘是 1.44MB,435KB 连三分之一都占不到,剩下大半是空的。所以「装进一张软盘」不是比喻,它真能被带走、被塞进抽屉。
第三道是词表,这道最关键。它不按 token 读写,而是一个字母一个字母地处理。传统语言模型要背几千上万词的词表,它只要几十个字母加空格。词表小了,输出端那层矩阵跟着塌缩。三道加在一起,435KB 的账就算平了。

逐字母为什么让模型变小
你可能会问:逐字母不是更笨吗?恰好相反,这是精明的省料。模型输出一个词,要在「词表大小」这个维度上打一次分。词表一万个词,就输出一万个分数;词表只有二十六个字母加几个标点,就输出三十来个分数。
少一个数量级的分数,对应的权重矩阵就小一个数量级。这就是它能塞进软盘的原因。代价是慢:一句「你好」它得逐字母吐出来。可在这个实验里,慢不算缺点,小才是硬指标。
还有一层容易被忽略:逐字母意味着它只学字母之间的接续,不学词。所以碰到没见过的生字串,它照样一格一格往下拼,不会像词表模型那样直接甩出「未知符号」。这种「能拼但不保证有意义」的特性,既是它省空间的原因,也是它胡说八道的根源。
划重点:它牺牲速度,换来的是「可交付尺寸」。这个权衡跟今天的商用模型完全反着来——大家宁愿大,也要快。可一旦目标变成塞进一张软盘,逐字母反而是唯一能把账算平的路径。

为什么它只会聊见过的东西
这才是实验最诚实的地方。参数只有 367K,训练数据只有约 3500 条。3500 条是什么概念?一本正经的教科书里就有几万句,这 3500 条基本是一本小册子的容量。
所以它不是「会推理」,而是「会记忆」。答得上来的事实,是权重里真记着的那几条;367K 参数的容量,塞不下把多个概念重新搭起来的能力。
它逐字母读写,对见过的事实和词表现不错,可复杂或过长的问题一出手,就是完全无意义的内容。这不是偶发故障,是容量到顶后的必然。
说白了,它是个带检索式记忆的复读机,不是思考者。这正好暴露小模型的一条铁律:参数可以让位,数据没法让位。权重能压到 8bit,但「知识的量」压不进 435KB——知识本身是有体积的。

这个实验的价值是一把尺子
别误会,我没否定这个实验。它的价值不在对话多聪明,而在它做了今天几乎没人做的一件事:把「可交付尺寸」当硬指标来算账。
算笔账就懂。10 亿参数按 8bit 存,约占 1GB;这个 435KB 的小家伙,连 1GB 的零头都不到,大概是它的两千分之一。你在手机上跑一个 1B 模型,说「很轻」,可它要的存储和算力,是这张软盘的几千倍。
再把视角抬高一点:今天几百亿、几千亿参数的东西,贵不在算法,贵在这道乘法。参数翻十倍,存储和算力跟着翻;精度从 8bit 回到 16bit,体积再翻一倍。尺寸是钱,也是电。
这一对比,「人人都在堆参数」就显得魔幻了。我们把模型越做越大,却很少人问:做到多大才算够?每当你想把 AI 装进低功耗设备、一台老机器、一个嵌入式模块,这把尺子就能量出差距。
所以我的两条判断:一,小模型的天花板从来不是参数,而是数据。367K 参数本身不成问题,卡住它的那 3500 条才是真瓶颈。二,这类实验的用途不在产品,在教学与嵌入式——让学生亲手看到每一步便宜在哪,比听一百遍理论管用;给离线小设备一个能跑的模型,比云端来回转发实在。
但这里有个前提得先说清:它证明的是「小模型能运行」,不是「小模型能用」。在 Pentium 上跑起来是工程上的胜利;可问题一旦超出那 3500 条的见识,它立刻崩成一堆乱码。能跑和能用,两码事。
顺便回答几个问题
问:这算什么级别的 AI?
答:更像一个按字母拼出记忆的复读机,离「智能」还有很长的距离。它证明了物理上装得下,不代表能力上够得着,这两件事千万别混。
问:普通人能拿 435KB 做一个 AI 吗?
答:技术门槛不高,门槛在数据。想让它有用,你得先攒够几十万条高质量样本,而数据往往比模型本身更贵,这一步谁也省不掉。
问:软盘时代的逆袭真来了吗?
答:未必。它证明的是「小模型能运行」,不是「小模型能用」。问题一旦超出那 3500 条的见识,它立刻崩掉,这个前提得先认清。