一台PS4跑9B模型,每秒43个词元

PS4跑起90亿参数大模型,每秒最快生成43个词元

先说结论:一台 2013 年上市、早就停产的 PS4,如今能跑 90 亿参数的本地大模型。普通文本每秒 31 到 39 个词元,生成代码最快每秒 43 个词元——据 Gigazine 报道,这些数字来自开源项目 Garlic LLM。

我把这台机器架在电视柜下面试了一晚上——严格说是云试驾,数据都按作者公布的口径来。但光看数字就够魔幻:全程离线、不碰网络,能语音对话,能跑 AI 生成的 Python 代码,还有个先推理再作答的「思考模式」。昨天还是吃灰摆件,今天就变成一台会聊天的本地大模型终端。

为什么这事值得写?因为它讲的不是「又一款新模型」,而是旧硬件的第二次生命:十年前为打游戏设计的 GPU,今天在给一个 9B 模型打工。本地推理的门槛,低到了「电子垃圾」这个级别,这句话放三年前没人敢信。

旧主机本地跑模型

老硬件怎么跑模型

十年前的游戏 GPU,怎么干上这活的

PS4 用的是 AMD GCN 架构 GPU,2013 年上市,8GB GDDR5 统一内存,早停产了,二手便宜得跟玩具似的。麻烦在于:它从设计那天起,就没打算给非官方程序用,没有通用 GPU 计算接口,没有机器学习库,驱动只服务游戏图形。

项目叫 Garlic LLM,作者 Leonardo Alegria,官网 garlicllm.dev,GitHub 仓库 leonardo-alegria/garlic-llm。不是什么大公司出品,就一个开发者自己折腾出来的,11 月 17 日被 Gigazine 报道后,才开始被更多人知道。

解法很硬核:绕开 PS4 原本面向游戏的图形驱动,直接向 GCN 架构的 GPU 下底层指令。作者自己写了整套 GPU 指令,等于在别人没留门的地方,自己开了扇窗。据 Gigazine 报道,模型权重连同加速数据,一共约 4.5 GiB。

三个名词,用大白话讲清楚

量化:模型权重通常是 16 位甚至 32 位浮点数,压成 3 位或 4 位,体积缩水一大截,精度损失一点点。基座是阿里的 Qwen3.5-9B,量化后约 4.5 GiB,刚好塞进 8GB 统一内存。

推测解码(MTP):生成文字时不再是「一个字一个字干等」,而是先按概率猜一串词元,再一次性验证。猜对了直接收下,省掉大量重复计算。据作者公布,普通文本每秒 31 到 39 个词元,写代码最快 43 个,上下文约 16000 词元。

绕驱动:就是上面说的「自己开扇窗」——绕过驱动层,直接指挥 GPU 核心。这条路只有越狱系统走得通,也是整个项目最野的地方:没有它,量化省下的空间、推测解码省下的时间,全是白搭。

三件事串起来,就是这套方案的全貌:模型变小,内存刚好装下;生成变快,体感不掉队;驱动绕开,老硬件听指挥。每一条单独看都不复杂,难在把三件事拼在一起——开源项目最值钱的部分,往往就在这种地方。

每秒四十三个词元的体验

每秒 43 个词元,是什么体验

什么概念?按中文粗算,一分钟能吐上千字,比多数人读中文还快。写代码、回消息,体感就是「吭哧一下,答案来了」。你要是打字慢,它甚至比你还话痨。

但它终归是台 2013 年的机器,和云端大模型比慢一截,长文写作会卡,16000 词元的上下文,也就够聊天和写短代码。开语音对话更吃力:语音识别用 Parakeet TDT 0.6B v3,合成用 Chatterbox,内存吃得更狠,速度掉到每秒约 22 个词元。

换个角度想:这速度放 2026 年当然不起眼,但它跑在一台不联网、二手几百块的旧主机上。十年前这份性能用来画游戏,今天用来写字——哪头更值,还真不好说。

边界在这,别急着去闲鱼下单

必须说清楚:这属于主机破解范畴,涉及保修失效、固件签名等一系列灰区问题,各地对破解的态度也不一样。具体步骤我不教,也不建议普通人跟着折腾。再提醒一句:这篇讲的全是公开报道里的技术事实,不是操作指南,越狱工具、破解文件一概没有。

想正经跑本地模型,有更省事的路:二手小主机、迷你主机、Mac mini,装个开源推理工具,几十分钟就能跑起来,比跟 PS4 驱动搏斗舒服得多,预算也更可控。

这台机器的意义不在「照做」,而在「看到」:本地大模型的门槛,已经低到这种程度。一台十年前的游戏机都能跑 9B,你手头那台旧电脑,多半也够用——先把它翻出来试试。

适合谁不适合谁

适合谁,不适合谁

适合:折腾党、主机破解老玩家、想让吃灰硬件物尽其用的人。这群人享受的是「把它跑起来」本身,慢一点无所谓,卡一下还能研究研究——对他们来说,跑通本身就是奖励,比打游戏还上头。

不适合:只想要个趁手本地模型的人。二手迷你主机或你手头的旧电脑,都比越狱一台 PS4 靠谱;在乎保修、不想碰灰区的,直接绕道。

数据都来自公开报道,想追细节去 garlicllm.dev 和 Gigazine 原文。别急着买 PS4,先看看自家旧电脑能不能跑——旧硬件的第二次生命,才是这篇文章真正想说的。

下一篇 返回列表 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款