一段音频就能驱动照片唱歌?是真的!EMO模型上线通义APP

首页 > 科技

一段音频就能驱动照片唱歌?是真的!EMO模型上线通义APP

来源:糗事百科 发布时间:2024-04-26 05:36

极目新闻记者 周丹

只需要一段音频、一张照片,就能让人物开口唱歌说话?是真的!让奥黛丽赫本唱《上春山》、陶俑仕女说英文RAP、爱因斯坦说中文段子……都能成为现实!

不久前,这款名为EMO的模型因为阿里通义实验室的一篇论文火遍海内外,模型的产品化进程也广受关注。4月25日,EMO终于上线通义APP,并开放给所有用户免费使用。

25日,极目新闻记者打开通义APP,进入“全民舞台”频道,看到EMO产品页面显示有“全民唱演”。在歌曲、热梗、表情包中任选一款模板,上传肖像照片,EMO随即就能合成视频。

记者随机生成了一段会说话唱歌的 AI 视频,以及实现无缝对接的动态小视频,最长时间可达1分30秒左右。视频中,人物表情非常到位,任意语音、任意语速、任意图像都可以一一对应。

记者看到,首批上线了80多个EMO模板,包括热门歌曲《上春山》《野狼disco》等,更不乏网络热梗“钵钵鸡”“回手掏”等。不过,记者尝试自定义音频发现,目前暂不开放,只能选择APP预置的音频来生成视频。

据了解,EMO是通义实验室研发的AI模型,其背后的肖像说话(Talking Head)技术是当前大热的AIGC领域。EMO之前的Talking Head技术都需针对人脸、人头部或者身体部分做3D建模,通义实验室在业界率先提出了弱控制设计,无需建模就可驱动肖像开口说话,不仅降低视频生成成本,还大幅提升了视频生成质量。EMO学习并编码了人类表达情绪的能力,能将音频内容和人物的表情、嘴型匹配,还能把音频的语气特征和情绪色彩反映到人物微表情上。

今年2月底,通义实验室公布相关论文,EMO随之成为继SORA之后最受关注的AI模型之一。现在,通义APP让所有人都可免费体验前沿模型的创造力。未来,EMO技术有望应用于数字人、数字教育、影视制作、虚拟陪伴、电商直播等场景。

(来源:极目新闻)

更多精彩资讯请在应用市场下载“极目新闻”客户端,未经授权请勿转载,欢迎提供新闻线索,一经采纳即付报酬。

极目新闻记者 周丹

只需要一段音频、一张照片,就能让人物开口唱歌说话?是真的!让奥黛丽赫本唱《上春山》、陶俑仕女说英文RAP、爱因斯坦说中文段子……都能成为现实!

不久前,这款名为EMO的模型因为阿里通义实验室的一篇论文火遍海内外,模型的产品化进程也广受关注。4月25日,EMO终于上线通义APP,并开放给所有用户免费使用。

25日,极目新闻记者打开通义APP,进入“全民舞台”频道,看到EMO产品页面显示有“全民唱演”。在歌曲、热梗、表情包中任选一款模板,上传肖像照片,EMO随即就能合成视频。

记者随机生成了一段会说话唱歌的 AI 视频,以及实现无缝对接的动态小视频,最长时间可达1分30秒左右。视频中,人物表情非常到位,任意语音、任意语速、任意图像都可以一一对应。

记者看到,首批上线了80多个EMO模板,包括热门歌曲《上春山》《野狼disco》等,更不乏网络热梗“钵钵鸡”“回手掏”等。不过,记者尝试自定义音频发现,目前暂不开放,只能选择APP预置的音频来生成视频。

极目新闻记者 周丹

只需要一段音频、一张照片,就能让人物开口唱歌说话?是真的!让奥黛丽赫本唱《上春山》、陶俑仕女说英文RAP、爱因斯坦说中文段子……都能成为现实!

不久前,这款名为EMO的模型因为阿里通义实验室的一篇论文火遍海内外,模型的产品化进程也广受关注。4月25日,EMO终于上线通义APP,并开放给所有用户免费使用。

25日,极目新闻记者打开通义APP,进入“全民舞台”频道,看到EMO产品页面显示有“全民唱演”。在歌曲、热梗、表情包中任选一款模板,上传肖像照片,EMO随即就能合成视频。

记者随机生成了一段会说话唱歌的 AI 视频,以及实现无缝对接的动态小视频,最长时间可达1分30秒左右。视频中,人物表情非常到位,任意语音、任意语速、任意图像都可以一一对应。

记者看到,首批上线了80多个EMO模板,包括热门歌曲《上春山》《野狼disco》等,更不乏网络热梗“钵钵鸡”“回手掏”等。不过,记者尝试自定义音频发现,目前暂不开放,只能选择APP预置的音频来生成视频。

极目新闻记者 周丹

只需要一段音频、一张照片,就能让人物开口唱歌说话?是真的!让奥黛丽赫本唱《上春山》、陶俑仕女说英文RAP、爱因斯坦说中文段子……都能成为现实!

不久前,这款名为EMO的模型因为阿里通义实验室的一篇论文火遍海内外,模型的产品化进程也广受关注。4月25日,EMO终于上线通义APP,并开放给所有用户免费使用。

25日,极目新闻记者打开通义APP,进入“全民舞台”频道,看到EMO产品页面显示有“全民唱演”。在歌曲、热梗、表情包中任选一款模板,上传肖像照片,EMO随即就能合成视频。

记者随机生成了一段会说话唱歌的 AI 视频,以及实现无缝对接的动态小视频,最长时间可达1分30秒左右。视频中,人物表情非常到位,任意语音、任意语速、任意图像都可以一一对应。

记者看到,首批上线了80多个EMO模板,包括热门歌曲《上春山》《野狼disco》等,更不乏网络热梗“钵钵鸡”“回手掏”等。不过,记者尝试自定义音频发现,目前暂不开放,只能选择APP预置的音频来生成视频。

上一篇:跨越语言,连... 下一篇:AI虚拟人可准...
猜你喜欢
热门阅读
同类推荐