20.7 帧的开源数字人,口播够用吗?

开源数字人 20.7 帧实时出图,口播够用

11 月 19 日,Kyutai 正式发布 AURA:一个音频驱动数字人的实时生成模型,权重、训练代码、三万条合成训练视频全部开源,论文里把两阶段蒸馏的路子也写明了。官方 demo 挂在 aura.kyutai.org,我点开试了,能跑。

主播对着镜头说话

先说结论:口播够用了

先说结论:对做口播、短视频、客服数字人的普通创作者,这个开源模型已经够用;对要影视级画面的,还差得远。判断依据不是参数表,而是据 Kyutai 的发布给出的两份实测数字,差在清晰度和帧率,不差在「能不能用」。

据 Kyutai 的发布,AURA 1.3B 在单张 GPU 上输出 576p,帧率 20.7 帧每秒;AURA 5B 输出 720p,帧率 9.7 帧每秒。一个能实时流式跟嘴,一个更接近离线生成,两个版本的分工从数字上就分开了。

另一个细节:它开源得不抠门。据 Kyutai 的发布,1.3B 和 5B 两个版本的权重、3 万条合成训练视频(含教师轨迹)、训练代码,一起放在 Hugging Face 上。给权重、给数据、给代码,这三样对想二次开发的人,比任何跑分都实在。

所以「够用」要拆开看:口播、念稿、客服问答这类固定机位的内容,它已经摸到门槛;影视级画面、复杂运镜,那是另一回事,别混为一谈。

视频帧画面

20 帧意味着什么

20.7 帧这个数字,先翻译成人话。人眼觉得画面顺滑的门槛大约在 24 帧每秒,20 帧出头直播时会有轻微顿挫感,但口播配音加字幕完全能看,就像手机开了低帧率模式,能忍,不影响理解。加上口播本身镜头固定、人物动作小,破绽还被场景盖住一层。

576p 也要说实话:这是清晰度,不是 1080p,全屏看细节会糊,人物离镜头一远更糊。对短视频、客服弹窗、虚拟主播小窗来说够用;要拿它当正片素材,分辨率就是硬伤,后期补不回来。

5B 版本正好反过来:据 Kyutai 的发布,720p 清晰但只有 9.7 帧,更像「离线的实时」——先把音频整段生成完再出视频,而不是直播级跟嘴。一个要流畅,一个要清晰,两个版本摆在那让你自己挑。

还有个观看距离的问题:嵌在小窗、手机竖屏里看,肉眼对帧率没那么敏感;投上大屏、当正片放,掉帧一眼就出来。同样的 20 帧,放哪看,感受完全不同。

显卡与算力

它怎么做到不等音频

旧方案为什么等?主流双向扩散模型要先看完整段音频,才能把整段视频一起生成出来,有的还要额外吃几秒音频做前瞻——就像听完一整段话,再从头复述。音频多长,等待就有多长,实时自然是奢望。

AURA 换了个思路:逐块因果生成加滚动 KV 缓存。拿到一小段音频就立刻出一小段画面,出过的帧不重算,靠缓存接住上文继续推,不需要「先看几秒再开画」的前瞻窗口,像边听边接话,而不是听完再复述。

据 Kyutai 的发布,这条路靠两阶段蒸馏练出来:先训一个因果学生模型去对齐教师模型的轨迹,再用 Distribution Matching Distillation 补画质,两步都省不掉。

官方的账本是这样:1.3B 比它的双向教师模型快 23 倍,低分辨率下质量相当;5B 在 720p 下匹配 TalkVerse 教师模型质量,速度快 17 倍。这是官方口径,我自己没条件复测,只转述。

剪辑工作台

谁该上手,谁别急

先说适合谁。做口播、知识视频的,录一段音频让数字人替你念,本地跑起来数据不外流;做客服、虚拟主播原型的,拿它快速验证交互,比外包便宜;想自己部署、不被平台抽成的,权重开源这条路它替你铺好了。

按场景再细一点:课件讲解、产品说明、FAQ 视频这类不需要表演的内容,它省下的是反复补录的时间;要演出情绪、要即兴发挥的内容,模板化的口型反而帮倒忙。

不适合的也划清楚:要 4K、要复杂运镜、要多人同框互动、要长镜头里形象不跑偏,这些 AURA 现在给不了。等下一版,或者干脆回去用传统拍摄。

还有一句实话:它是音频驱动的说话头,不是完整数字人方案。表情和口型跟着音频走,肢体、场景、镜头语言都得你自己补,真要做成一条片子,后面那一半工作量还在这儿等着。

开源代码

开源的账要自己算

开源不等于免费。权重和代码白给,但显卡要自己买,部署、调参、推理的服务器要自己扛,出了问题没有客服,只有 GitHub issue。据 Kyutai 的发布,3 万条合成训练视频也意味着:模型见过的是「合成脸」,真人出镜的差异得自己测。

预算先算一遍:单卡能跑 1.3B,可 576p 输出要压成直播码率,转码、带宽、机房稳定性都是钱;真做并发服务,一张卡顶一个用户,人一多成本直线上去。

还有时间成本:从装环境到跑出第一条能用的片子,中间得啃依赖、显存、驱动版本,一个报错可能耗掉半个晚上;调顺了还得自己搭音画对齐的流程。开源省下的是钱,花掉的是精力,这笔账只能自己认。

训练数据合规也别忘。拿它生成的内容去做商用,授权边界得自己查清楚;在自己数据上微调没问题,但别默认什么都能卖。开源的账,第一页写着免费,后面的页码都是你的时间。

常见问题

问:AURA 在哪能试?答:官方 demo 在 aura.kyutai.org,我点开能跑,但没测延迟数字,只说它能跑通;两个版本的权重、3 万条合成训练视频和训练代码都在 Hugging Face 上,本地部署照着仓库文档来。

问:直播级实时选哪个版本?答:据 Kyutai 的发布,1.3B 单卡输出 576p、20.7 帧,适合要跟嘴的实时口播;5B 是 720p、9.7 帧,更适合离线批量生成,先把音频整段生成完再出视频,别指望它直播。

问:它为什么不用等完整音频?答:AURA 用逐块因果生成加滚动 KV 缓存,边听边接话式出画面,不像双向扩散要等整段音频;据 Kyutai 的发布,1.3B 因此比教师模型快 23 倍,5B 在 720p 下快 17 倍。

OpenAI 防的不是抄答案,是抄思路
下一篇
OpenAI 防的不是抄答案,是抄思路
思考链提取率降到 0.2%,OpenAI 防抄思路
继续下滑 或 点击阅读下一篇
下一篇 OpenAI 防的不是抄答案,是抄思路 →
站长照片
“

1

”
联系二维码
微信:扫码加企业微信
邮箱:15611497360@aqq.com
手机:15611497360

私信站长

申请退款