浏览器里跑 AI,真能不用再装软件?

模型导出就能在浏览器跑,省掉的正是格式转换那一环

PyTorch 官方博客挂出一条更新:ExecuTorch 加了 WebGPU 后端。翻成大白话——用 PyTorch 训出来的模型,导成一个 .pte 文件,就能在支持 WebGPU 的浏览器里借显卡跑推理。

对普通人的意义不在这些名词上。它意味着以后有些 AI 功能,可能不用装软件、不用注册账号、不用把文件传到别人的服务器上,打开一个网页就行。但它能跑的东西有限,这一点得先说在前头。

全篇一图看懂

配图

少传一次包,到底省了什么

以前要把 PyTorch 的模型放进浏览器,中间得先转成别的框架认的格式——GGUF、ONNX、TFLite,转一圈再配一个对应的运行时。每转一次,就多一个会出错的环节,也多一个要跟着升级的维护点。

拿插座打个比方:家里是国标插座,电器是英标插头,以前的办法是买转换头,转换头坏了、换个型号,电器就用不了。这次做的事,是让电器出厂就带着能直接插的那只头。

官方给的路子只有两步:torch.export 导出 .pte,浏览器里的 WebGPU 接住它跑。链路短一截,模型分发的成本跟着降——做产品的人会在意这一步,比「先进不先进」实在。

转格式的麻烦不在技术难度,在它总要有人负责:谁转、转完对不对、上游框架发新版谁跟着改。团队里通常没有专人干这个,活儿总归落在最熟部署的那个人身上。

配图

做网页的:少养一条流水线

以前在网页里放个模型,团队得同时养两套东西:训练侧一套 PyTorch 代码,部署侧一套转换脚本加运行时。模型一更新,两边都得动,漏改一处就是线上白屏。

现在导出这一步能直接从训练代码里出来,中间那套转换脚本可以省掉。省下的不是几行代码,是一个常年要人盯着的环节。

顺带变的还有发布动作。以前模型要打进安装包,用户得重新下载整个软件;现在换成网页加载一份文件,改完刷新就是新版,回滚也只是换回旧文件。对做工具的人来说,上线节奏能按周算,不用等发版。

也别高兴太早。WebGPU 的接口和各家浏览器的实现还在变,能力探测、版本差异该处理还得处理。少一条流水线,不等于没有流水线。

配图

担心隐私的人:资料不用出门

这一点比速度更实在。模型跑在你自己的机器上,你贴进去的合同、体检单、聊天记录,不用先传到某台服务器再等结果回来。少一次上传,也就少一个可能留下副本的地方。

「不出浏览器」不等于「绝对安全」,网页本身照样可能有别的脚本在跑。但对「我只想让 AI 改一段文字,不想把整份文件交给陌生公司」这类需求,这条边界已经够用。

内网工具也是一个道理。医院、工厂、律所这类不方便把资料往外送的地方,一个能离线安装的网页应用,就能带上轻量的 AI 功能。

代价也得认。模型到了你机器上,出问题也留在你机器上:显存不够、驱动不认、结果不对,没有服务商能替你查日志。省掉的服务器,连同那份兜底一起省掉了。

配图

只想试试的新手:打开网址就能用

以前试一个开源模型,得装环境、装驱动、下几十 GB 的权重,折腾两小时还没见到结果。现在可能只是一条链接,点开、等它下完、开始用。

课堂演示更明显。老师要讲「模型怎么一个字一个字往外吐」,不用让全班先装环境,投屏打开一个页面就能演。想让学生自己上手,也只是一条链接的事。

门槛低的副作用是「试过」和「会用」容易被混成一件事。点开聊两句,跟把它接进你的日常工作,中间隔得远。

判断要不要留下它,还是老办法:拿你手头真实的活试三遍。演示里答得漂亮,是因为题目被挑过;你的活没被挑过。

配图

先说不能干什么

浏览器能调用的内存和显存有限。按目前的经验,它适合中小模型——量化之后几亿到十几亿参数那个级别。再大就装不下,硬塞进去的结果是标签页卡死。

首次打开要下载模型文件。多大取决于模型本身,网络慢的时候,这段时间够你泡杯茶再回来。第二次打开会快一点,浏览器会缓存;缓存一清,又得重下。

手机上的浏览器对 WebGPU 支持参差,同一份页面在电脑上顺,在手机上可能直接不可用。不同显卡驱动的表现也差得远,同一段代码换台机器,速度和稳定都可能变。

「浏览器里能跑」是一句事实,「什么都能跑」是一句误解。这两句话中间,隔着上面这几条。

配图

比的不是模型多大,是谁的链路更短

过去两年端侧 AI 的比法是参数规模,谁的模型大谁上头条。这条路快走到头了:模型再大,用户装不上、传不动、跑不起来,等于没有。

接下来更值钱的是链路长度。从训练框架到用户屏幕,中间少一个格式、少一次转换、少一个安装包,能覆盖的人就多一批。ExecuTorch 加 WebGPU 后端,动的正是这一段。

判断放这儿:端侧 AI 的竞争,正在从「比模型大」变成「比谁的分发链路短」。谁的模型能更快出现在用户的浏览器里,谁就先把反馈收进兜里。

对普通人来说,这个名字记不住也没关系。你只需留意一件事:以后遇到一个顺手的 AI 功能,可能什么都不用装,打开网页就能用;也可能打开网页才发现,它只认得你那台电脑。

下一篇 你的 Mac 会变成不用联网的服务器? →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款