可让照片人物“开口说话”,阿里巴巴研究团队推出 AI 框架“EMO”

2024-03-22
感谢网友 仙人掌鸡排饭加个蛋落木飘 的线索投递!

3 月 1 日消息,阿里巴巴研究团队近日发布了一款名为“EMO(Emote Portrait Alive)”的 AI 框架,该框架号称可以用于“对口型”,只需要输入人物照片及音频,模型就能够让照片中的人物开口说出相关音频,支持中英韩等语言

可让照片人物“开口说话”,阿里巴巴研究团队推出 AI 框架“EMO” (https://www.qianyan.tech/) AI 第1张

据悉,EMO 基于英伟达的 Audio2Video 扩散模型打造,号称使用了超过 250 小时的专业视频进行训练,从而得到了相关 AI 框架。

注意到,研究团队分享了几段由 EMO 框架生成的 DEMO 演示片段,并在 ArXiv 上发布了模型的工作原理,感兴趣的小伙伴也可以访问 GitHub 查看项目。

可让照片人物“开口说话”,阿里巴巴研究团队推出 AI 框架“EMO” (https://www.qianyan.tech/) AI 第2张

▲ 图源 研究人员发布的 DEMO 片段

据介绍,该框架工作过程分为两个主要阶段,研究人员首先利用参考网络(ReferenceNet)从参考图像和动作帧中提取特征,之后利用预训练的音频编码器处理声音并嵌入,再结合多帧噪声和面部区域掩码来生成视频,该框架还融合了两种注意机制和时间模块,以确保视频中角色身份的一致性和动作的自然流畅

研究人员援引一系列实验结果,声称 EMO 不仅能够产生令人信服的说话视频,还能生成各种风格的歌唱视频,号称“显著优于目前的 DreamTalk、Wav2Lip、SadTalker 等竞品”

相关推荐