最近单曲循环了一首新歌——《川的世界》。
一气呵成的音调、充满感情的音质和声线,自然的气息运用和演唱技巧,正要问到底是哪位新星横空出世,才被提醒是超写实虚拟人川CHUAN的歌。
一时间有点失望,觉得不过又是老套的真人换脸、换声演唱。然而又被给了个惊喜,这首歌居然完全是超写实数字人川CHUAN进行的AI演唱,也是全球首支由超写实虚拟数字人演绎的AI单曲。
图:虚拟人川CHUAN的AI单曲《川的世界》
以往,虚拟人“唱歌”并不稀奇。有真人用二次元虚拟形象唱歌的,也有用逼近真人的超写实数字形象通过人工换声来唱歌的。
但未来的虚拟人可不应该是这样,川CHUAN不仅脸完全是根据自动算法生成,且演唱也是根据输入的信号作出发声反应,即通过机器学习进行演唱演绎。
像川CHUAN这样都是从外型到声音都是通过算法驱动,且无限接近真人的(外形、声线、演唱技巧等),目前还是第一个。
图:《川的世界》已上线QQ音乐、酷狗音乐、酷我音乐
这不仅让人好奇,川CHUAN的团队到底是怎么做到的?超写实虚拟人的未来是如何实现的呢?
超写实虚拟人AI算法驱动的实现路径——从川CHUAN的诞生说起
早在2021年12月,川CHUAN就以首位男性超写实虚拟数字人的形象活跃在社交网站上。逼真的质感,还有出色的外型,网友非常喜爱。
然而这对于川CHUAN的团队来说,还不够。按照其团队亦真亦幻对于超写实虚拟人未来的设想,川CHUAN不应仅仅停留在接近真人的完美外型颜值上,还应该有新的突破,实现更有趣的互动体验。
“让超写实虚拟人AI唱歌会是什么样?”一个大胆的想法就此诞生。
此前,早已有虚拟人通过人工换声、或者调音软件调制等方式实现“唱歌”,洛天依、初音未来这类虚拟歌姬的演唱已经很多人听过了。人工换声的方式固然简单,但是不真实且关键不够未来,并不是川CHUAN团队想要的效果。
川CHUAN的团队亦真亦幻创始人张岂熙表示:“超写实虚拟人在外形上做到了超越真人的完美,那么超写实虚拟人通过唱歌是应该是AI完成的,不依赖中之人,音乐作品一样需要超写实。也就是声线贴脸、演唱逼真、独一无二。”
经过多次尝试和实验,川CHUAN团队最终选择了和两大顶尖团队合作,为川捏制“贴脸”而“专属”声线,“专业”而“独特”的唱功,共创完成这支AI单曲。
在声线和唱功训练上,川CHUAN的合作团队是时域科技(ACE)。时域科技是目前中文AI歌声合成领域中全球最顶尖水平的团队。演唱自然度、演唱情感度、技术先进与使用便利性上都远超其他歌声合成引擎。这也是这首单曲川CHUAN演唱声线如此自然的原因。
在音乐制作上也颇费功夫。《川的世界》歌曲制作团队合作伙伴抱朴文化工作室介绍,《川的世界》在创作之初就考虑到了虚拟人川CHUAN的诞生理念和个人气质要紧密结合,突出“集成”与“创新”,以川CHUAN的视角认识世界、介绍自我,在曲调上采用轻快有电子感的编曲风格,强调未来感和科技感,希望也能借此激发众多网友对虚拟世界的无限遐想。
现在,川CHUAN团队对未来的构想已经初步实现。通过这首AI单曲,不少网友认识了川CHUAN,接触到一个全新的超写实虚拟人的未来:“虚拟数字人,不应该依赖任何中之人、而应该是能够融合人类智慧、机器智慧、群体创作的一个集成人。”
未来的未来:超写实虚拟人AI化前景展望?
在川CHUAN发布了这首AI单曲之前,很多人对于超写实虚拟人的印象还停留在静态,只有不能开口的视觉图像。
如AYAYI、翎_LING等,他们拥有超越真人的完美外表,在社交网络上成为网红博主。但是仅限于能看,日常互动不能开口,全靠后期P图和运营维护人设。这种静态不应是超写实虚拟人的未来。而国外的超写实数字人代表Miquela虽然已经向音乐领域破圈,但还只停留在中之人演唱的形式。
川CHUAN发布的这首AI单曲打破网友的传统认知。超写实虚拟人不再仅仅有静态颜值,也可以进行动态AI智能驱动,从而拥有接近真人的声线和演唱技巧,进行AI演唱并发布了单曲,川CHUAN也因此成为全球第一个完成AI演唱的超写实数字人。
对超写实虚拟人未来的想象力已经打开,在拥有接近真人的完美外表、永不塌房之外,虚拟人将有更多更有趣的智能互动体验,进一步跨越真实和虚拟边界,提供更真实的陪伴体验,带来更有冲击的视听感受,或许这一切已经不再是梦了。
创始人张启熙介绍,这次AI单曲还只是一个试水。接下来亦真亦幻还将整合各类最前沿的虚拟人技术、运用各类AI生成工具包括MIT虚拟人生成器、英伟达omniverse等进行各类虚拟人AI能力的应用和尝试。例如语音对话表达、面部表情、动作由AI深度学习模型的算法进行驱动等等,未来可以实现更多自然、真实的互动效果。
图:运行在MIT虚拟人生成器上的川CHUAN
未来,一场超写实虚拟人川CHUAN的演唱会是否是你的期待?
,
