先说结论
Reddit 用户 IndividualSurvival 在 11 月初发了篇帖子：他用一台没有独立显卡的服务器，把 2.8 万亿参数的 Kimi K3 跑起来了。1 比特量化下 1.5 词元每秒，问一句话要等半分钟才见回音。
我的判断很直接：这是跑通，不是能用。跑通的证明力在于，它把一条极限路径完整走完了；能用的标准是你感觉不到自己在等机器，两者之间差着很远，这一点比跑通本身更该说清楚。
第二句判断：这次真正的主角不是模型，是一条已经停产的存储产品线。傲腾早就停产，二手市场还剩些散货，可它证明过的事还活着，被一个折腾模型的人重新捡了起来。
还有一句得提前说：别拿它当装机指南。这套配置的价值，是把容量换速度推到极端，让你看清代价有多大，而不是给出一条省钱的捷径，更不是让谁去淘旧内存条。
显存装不下的账
2.8 万亿参数，哪怕压到 1 比特，数据量仍在几百 GB 这个量级。消费级显卡的显存 24GB 封顶，跟它差着一个数量级，这不是优化能抹平的差距，也不是堆钱马上能买到的。
换算其实不难：量化位宽乘参数量，再除以八，就是模型大概要吃的字节数。拿 1 比特算一遍，很多「一张卡就能跑」的幻想当场破掉，数学在这里不讲情面。
参数得待在一个处理器能寻址的地方才读得到。显存放不下，退到系统内存；内存也不够，退到更慢但容量更大的介质。这是逐级下沉，不是自由选择，每一步都得拿速度付账。
llama.cpp 干的就是这件事：权重摊在容量介质上，算到哪一层就往内存里搬一块，用完再换。带宽决定它搬得多快，延迟决定它每次抬头的等待，所以这行的门槛不是算力，是容量。
傲腾凭什么是它
傲腾基于 3D XPoint，英特尔和美光一起开发的技术。它卡在内存和固态盘中间：比固态快，比内存便宜，断电不丢数据，三个特性凑在一起，位置反而有点尴尬。
这次用的是傲腾持久内存 200 系列，外形和装法都接近服务器内存条，单条 128GB、256GB、512GB 三档，配的是第三代至强可扩展平台，40 个核，一整套服务器思路。
关键在 App Direct 模式：DRAM 和傲腾作为两个独立数据空间交给软件，傲腾被当成一大块内存用，而不是当缓存。代价是什么放哪儿得软件自己决定，投得准不准直接决定实际的词元速度。
为什么偏偏是它？要在一个插槽里塞几百 GB，还得让处理器直接按字节寻址，普通内存条没这个密度，固态盘又不是这么寻址的。断电不丢数据这条，在这儿反而没派上用场。
关掉 DAX 居然更快
刚开始只有 0.85 词元每秒。后来把 DAX 关掉，也就是直接访问模式，速度反而升到 1.50 词元每秒，快了将近一倍，这个反差比模型本身更值得记下来。
DAX 的本意是绕过系统页缓存，读写直通介质。听着干净利落，可它同时放弃了让 DRAM 当缓存的机会，于是每一次访问都得硬吃傲腾的延迟，这一层缓存省不得，省了就等着看进度条。
关掉之后，常用数据能留在 DRAM 里，命中就走内存，没命中才回傲腾。同一个模型，同一堆硬件，只改了这一个开关，输出速度翻了一倍，这笔账很好算。
打个比方：傲腾是几百 GB 的仓库，DRAM 是几十 GB 的操作台，页面调度就是两者之间的搬运工。容量型推理不看峰值带宽，看命中率，谁能把热数据留在快介质里，谁就赢。
换个能感知的算法
1.5 词元每秒是什么体验？中文大致一字对一个词元，一分钟九十个字上下。你发一段，它回一段，中间够你去泡杯茶，回来再看看它出到第几个字，这个节奏比参数更能决定你会不会用它。
0.85 词元每秒：一分钟约五十一个字，一句话等一分多钟。1.50 词元每秒：一分钟约九十个字，短文勉强能读完。3 比特量化 0.75 词元每秒：五万词元要跑十八个半小时，等于让它写一整夜。
还有个反直觉的地方：3 比特量化本该更准，速度却掉到 0.75。精度上去了，搬运量也跟着上去，在容量吃紧的机器上，这笔交易是赔的，不是赚的。
发帖的人自己也没说它流畅，他没吹，只把数字摆出来。按这个速度跑一次完整评测得按天算，它适合验证能不能，不适合验证好不好，更不适合拿去跟人比速度。
普通人该走哪条路
别把这条新闻读成不用买显卡了。测试项目就是测试项目，跑通和日常使用之间，隔着一整条产品化的路，中间要补的是工程，不是一腔热情，社区里愿意试的人从来不缺热情。
真要本地跑，7B 到 70B 才是现实区间：7B 量化后几 GB 显存就够，70B 得靠两三张 24GB 的卡，或者退到内存加处理器的混合方案，速度也还说得过去。
2.8 万亿这种体量交给云端更省心。本地跑大模型的性价比拐点大概在百 B 以内，再往上电费和等待时间都不划算，真要省钱，订阅云端从来比攒机器便宜。
家庭实验室的乐趣在这儿：不是因为便宜才折腾，是因为想知道边界在哪。傲腾停产了，这类实验还会有人接着做，只是下次换别的介质。至于我，还是会把显卡插回去。
