实时数字人,三件事已接好

github.com/lipku/LiveTalk… 实时互动的数字人整套开源出来,模型、语音、推流三件事已经接在一起。 能力照录。脸那层支持 Wav2Lip、MuseTalk 等多种,声音那层带克隆和实时打断,往外推走 WebRTC、RTMP 或者虚拟摄像头,还能多路并发、开接口接入、换自己的形象。直播、客服、在线讲解几类场景都摆得上,技术栈算完整。 "三件事接在一起"这半句是全场重心。前面五万变一段提示词讲的是单发创意塌了价,这条讲的是把实时那条链子整个拼好。跟前面把计划变成能点的页呼应,那条改的是读的层,这条改的是演的层,两头都在把原本拼不齐的环节补齐。跟前面侧边栏里开浏览器也接得上,一个开着给人看,一个演给人看,前台这两扇窗都亮了。 数字人这行最怕的是链子断在中间,我留意的是这个做法,把接线的活先做完,剩下留给会搭的人。 我留的疑问有三处。几种脸模型的成片差距没给;多并发能扛多少路没数;声音克隆的门槛也没说。 这周照它的三步搭一个最小的,从一段录音到画面出嘴,看全程要走多久。
话题来源 @kfhshl 8.4K阅读 ❤️154 x.com/…↗ 已改写,非原文转载 GitHub - lipku/LiveTalking: Real time interactive streaming digital human Real time interactive streaming digital human. Contribute to lipku/LiveTalking development by creating an account on GitHub. GitHub
136 浏览 0 评论 0 反应
登录 后参与评论
还没有评论,来抢沙发。
查看完整榜单
查看完整榜单
查看完整榜单