自托管AI,多少负载才回本?

自己买卡跑模型,算清回本线再动手

先说结论:自托管跑大模型,只有小模型加你手上正好有的那张卡才划算,大 MoE 模型趁早别自己搞,账算不过来。判断标准不是感觉,是一道能直接套进去的算式:用你 GPU 的每小时租金,去除同样这批 token 走 API 要付的钱。数字都来自 OpenRouter 2026 年 11 月 12 日发的那篇博客,我本人没真租过卡去跑,下面只按它公布的口径帮你把账摊开。

先把这道题拆成三块:买卡的钱、电费、你要服务多少人。大多数人盯着显卡的占用率看,以为风扇在转就是满负载,其实一台卡一天转下来,真正在吐 token 的时间惨不忍睹。所以下面这份算账,核心就一句——别用感觉,用负载率说话。

全篇一图看懂

配图

一个算式,把回本线算清楚

OpenRouter 在博客里给的口径很直白:盈亏平衡负载 = GPU 每小时租金 ÷ 同样一小时 token 走 API 要付的钱。低于这个负载,API 更便宜;超过 100%,说明 API 从头到尾都便宜,自托管这条路永远赢不了。

这套算法值钱在把两件没法直接比的事拉到同一根轴上:一边是硬件的固定成本,一边是按量计费的浮动价格。你自己算的时候,把租金换成你的电费加折旧,把 API 价格换成你在用的那家供应商的实际标价,数就对上了。

但这里说的「负载」不是显卡闲着或忙着的占用率,是这台卡每个时段被真实请求占掉的比例。两个数看起来都叫百分比,实际天差地别,很多人在这一步就给自己算嗨了。

小模型的账:6%到12%就回本

看一个具体例子。按 OpenRouter 2026 年 10 月 8 日公布的价格,Qwen3.8 27B 跑在单张租用的 RTX 3090(0.5 美元/小时)上,大约 6% 到 12% 的负载就回本。意思是花五毛钱租一小时的卡,这小时内请求量只要到那个数,费用就和走 API 打平。

可回本只是不亏钱。同一个模型单卡上,每个用户只能拿到大约 15 tokens/秒——一句话得等它磨半天,你自己敲键盘都比它快。所以你自托管省下的,是「自己一个人慢慢用」的钱,不是「服务一群急脾气用户」的钱,这两个是完全不同的生意。

如果哪天我手上真有一台 3090,我会先量这三件事:真实每小时能吐多少 token、缓存命中有多高、同时能扛几个请求。三样量完,平衡点闭着眼都能算出来,不用纠结对赌。

大模型的账:租卡永远回不了本

换到大模型,账立刻难看。DeepSeek V4.1 Flash 跑在 4 张 H200 上,去和 OpenRouter 上最便宜的零数据保留(ZDR)端点比:永远回不了本。不管你怎么提负载,四张卡的租金分摊下来那条成本线,始终压在 API 标价上面。

哪怕退一步换成 2 张 B200,在最便宜的租金下,也得把负载干到 76% 附近才勉强打平。我直说:能长期稳定拉到 76% 负载,基本等于把这张卡分分秒秒都卖出去还没人挑刺,现实里绝大多数自托管都倒在这一关。

所以别被「大模型降价」刷屏骗了。降的是 API 的价,不是你的卡的价。越大越重的模型,边际收益越薄,自托管越没有立锥之地。

配图

三个坑,专坑自己动手的人

第一个坑是缓存 token 灌水。「一美分一百万 token」这种自托管宣传价,多半只算了缓存输入的 token。可问题在于你走 API 时缓存输入几乎也是免费的——人家拿你最强的优势,去跟你最廉价的通道比单价,数字当然好看,就是不能当真。

第二个坑是单一标价。同一个模型在 OpenRouter 上往往挂十几个到三十几个供应商:Qwen3.8 27B 输出最贵的是最便宜那家的 3.5 倍,DeepSeek V4.1 Flash 更夸张,差近 13 倍。你随手拿一家标价去算平衡点,大概率算出个自己爱听的数。

第三个坑是峰值容量和运维人力。自有卡听着像白嫖,但躺着的那台卡断电也吃电,忙的时候又可能挤爆;升级驱动、盯显存、扛故障,全是没人报销的工时。这些都是成本,只是不从你的信用卡走,最容易被人当成零。

适合谁,不适合谁

那到底谁适合?你手边碰巧有一张闲置的 RTX 3090,且它被限在 250W。按 2026 年 7 月美国居民平均电价,一小时电费大约 0.05 美元,只要忙过约 1% 的时间,就已经比 OpenRouter 上最便宜的 ZDR 端点便宜了。对,就是看着瞎跑都值那个价——前提是你本来就有这张卡。

不适合谁?没有现成硬件、想租卡来省、还得老老实实服务一堆并发用户的人,趁早放弃。补一个侧面数字:OpenRouter 官方拿同一批模型跑完整套 API 实测,总共只花了 0.49 美元。花不到五毛钱就能把事情测明白,干嘛还要砸四张 H200?

最后一句话送给想动手的你:先把负载量出来,再谈回本。量都不量就买卡,那不叫科技,是你给闲钱找了个离家出走的地方。

下一篇 别把思考强度拉满:升一档模型更省钱 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款