380KB 的 AI 塞进软盘,486 老电脑跑活了

36.7 万参数的模型塞进软盘,486 老电脑也能聊 AI

先说结论:好玩,但别指望它和你聊哲学。开发者 WollyMonjac 写了个微型问答模型 Tiny 2.1,把 36.7 万参数、约 380KB 的模型塞进一张 1.44MB 软盘,让 DOS 老电脑也能跑 AI。据 IT之家报道,这事在极客圈传开,靠的不是性能,是复古。

屏幕亮起字符界面,敲两行命令,机器顿一下,然后开始回答你的问题。放在三十年前,这是科幻电影里的镜头;放在今天,这是一张软盘就能做到的事。老电脑的第二春,就这么悄没声地来了。

老式电脑屏幕亮起字符界面旁边放着一张软盘

老式电脑前放着一张软盘

一张软盘,装下一个能聊天的模型

先把它的大小说清楚。Tiny 2.1 只有 4 层网络,隐藏维度 96,做 8 位量化之后权重总共约 380KB,跑起来要占约 540KB 常规内存——整包容量 1.44MB 的软盘装它,还富余不少。

据 GitHub 项目页,代码用 Turbo C 2.0 编写,这是上世纪九十年代 DOS 时代的经典 C 编译器,老机器对它熟悉得很。开发者还顺手附了训练文件夹,想研究的,把数据、代码、过程一起扒走。

486DX 和 Pentium 都是上世纪的老芯片,放到今天已经是爷爷辈。一台三十多年前的老电脑,跑一个货真价实的神经网络,还能张嘴回答问题——这画面,放在当年够科幻,放在现在,够浪漫。

电路板与芯片特写象征压缩存储

36.7 万参数是怎么塞进 380KB 的

如今随便一个大模型都是几百亿参数,36.7 万参数听起来像玩具。但换个角度算账:36.7 万参数压进约 380KB,平均每个参数只占 1 字节左右,比一条短信还省。这份精打细算,本身就挺狠。

关键在量化。模型权重通常用 32 位浮点数存储,Tiny 2.1 改用 8 位整数存储,单个参数的存储占用直接降到四分之一,整体体积跟着缩水,换来的是精度上的一点损失。对这种回答小问题的小模型来说,这笔买卖相当划算。

说白了,量化就是把模型「压缩打包」的功夫:参数还是那些参数,只是每个参数的存储精度变低了。大模型跑在数据中心,可以任性堆算力;要想装进软盘、跑在 486 上,就得把每个字节都用到位。

另外,它只负责推理,不负责训练。训练是在别的机器上完成的,老电脑拿到的是已经训好的成品。这正是端侧推理的路子:先在算力充足的地方把大模型蒸馏缩小,再塞进小设备里现场答题,省网、省电、还省硬盘。

一只老式小喇叭音箱

它能聊天、能答题,据说还会用喇叭说话

据 X 上的转发和 Tom's Hardware 的报道,Tiny 2.1 从一个大模型身上蒸馏出约 3500 条事实来学习,能聊天,能回答简单问题。3500 条事实是什么概念?差不多是一本薄薄的常识问答小抄。

最有意思的是,据 Tom's Hardware 报道,它据说还能通过 PC 喇叭发声。PC 喇叭是 DOS 时代少有的出声硬件,平时只负责「嘀嘀」叫,现在被拿来让 AI 开口答题,复古程度直接拉满。

提前打个预防针:它的定位是能跑起来的 AI 演示,不是能干活的生产力工具。你问它天气,它答不上来;问它简单的常识问题,它大概能翻小抄。你要是拿它跟大模型比嘴皮子,那是欺负它。期望摆正,惊喜才多。

老式台式电脑摆在木桌上

适合谁玩,不适合谁玩

先说适合的。怀旧党:家里真有一台 486 或 Pentium 老机器,把它从仓库翻出来,插软盘、跑 AI,光是这个过程就值回票价。编程教学:用 Turbo C 写的代码量不大,拿它给学生讲「AI 原来可以这么小」,比看论文直观多了。

好奇宝宝也适合:不想折腾实机,用模拟器跑一遍也成,成本几乎为零,还能亲手摸到端侧推理和量化的门道——顺带理解为什么手机上的小模型也能离线干活。折腾老电脑,乐趣本来就在过程里。

不适合谁?需要真干活的人。想在 486 上写报告、做分析、处理正经事,趁早打消念头。它回答的深度和长度都有限,当生产力工具用,你会被气笑。它的价值是玩具、教材、情怀,唯独不是效率。

人手把软盘插进老式主机

怎么上手:一张软盘的复古之旅

据 GitHub 项目页,Tiny 2.1 以 MIT 许可证发布在 WollyMonjac/Tiny-2.1 仓库,代码、权重、训练文件夹全部公开,想复刻,随时可以动手。

玩法主要有两种。真机流:把软盘镜像写进 1.44MB 软盘,插进实机,在 DOS 下直接运行;模拟器流:用 DOSBox 这类软件虚拟一台老电脑,连软盘都不用买,几分钟就能等来屏幕亮起字符界面的那一刻。

把期待值放对:它回答起来像个有礼貌的常识小帮手,速度上,486 别指望秒回——毕竟处理器差着三十年的代际。但那种「老机器认真思考」的停顿感,恰恰是这趟复古之旅最有味道的部分。

最后说句实在话:这个项目改变不了 AI 的版图,但它给了老电脑一个体面的第二春。以后家里来客人,你可以掏出一张软盘,一脸正经地说:来,让上世纪的老古董给你表演个 AI。屏幕亮起的那一刻,谁还不是个时光旅行者呢。

几千亿美元缺口,AI明年要断粮?
下一篇
几千亿美元缺口,AI明年要断粮?
算力每五个月翻番,收入没跟上,缺口是被时间磨出来的
继续下滑 或 点击阅读下一篇
下一篇 几千亿美元缺口,AI明年要断粮? →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款