B站虚拟歌手洛天依与AI语音的交响
2023年7月12日下午7点12分,在B站20多万观众粉丝的见证和祝福下,这位来自哔哩哔哩的世界首位中文虚拟歌手洛天依迎来了自己十一周年的生日会。除了一如既往温暖治愈的歌声外,此次洛天依与观众互动交流时音色活泼的流畅语音也受到粉丝们的特别关注。
自洛天依出道至今,她的说话交流均是通过歌声合成引擎语调或是真人配音来完成制作。而生日会直播里高度流畅的语音,也被观众们普遍认为是高水平的AI语调校。其实大家有所不知的是,今年生日会洛天依的说话发声是由全新的方式——人工智能语音技术创造而成。接下来,一起探秘天依背后的“幕后团队”是如何帮助虚拟歌手进化出更自然的说话能力!
作为首位中文虚拟歌手,洛天依独特的治愈歌声音色受到了粉丝和大众的广泛喜爱。今年,Vsinger和哔哩哔哩鸣实验室联手为洛天依定制打造AI语音声库。与业界标准化AI语音不同的是,天依AI语音不仅在音色上高度还原了她标志性的歌声音色,也在合成效果上平衡了电子机械感和拟人自然感。这样极具突破挑战的设计,帮助天依延续了她独树一帜的音色,也让她的AI发声效果更吻合虚拟歌手的设定。
哔哩哔哩鸣实验室的方案与通用AI声库制作流程不同的是,洛天依的声音本身也是由技术生成的,而非人类自然产生的声音,所以不能像大多数声音定制的方案一样,简简单单通过数据采集来定制声线。
想要得到洛天依说话音频,可以利用洛天依歌声声库,使用Vocaloid等音频合成软件,按照真人说话的韵律规则,手动调出洛天依说话音频,俗称语调。这个方法虽然能还原音色,但是会有很多局限性。这个方案需要调教师有较高水平的语调校的经验,即使这样也通常很难调教出自然流利的语音内容,而且也很难量产。
为了保持说话音色和唱歌音色的高度一致,并使说话显得自然流畅,采取了一系列优化。首先,在对洛天依歌声声库进行深入研究和分析的基础上,定制了一版专门的AI语音模型。该方案在保证内容完整性和音频自然度的同时,能更好地解耦音色、音高和语义等信息。通过将这些要素分开,能更好地捕捉到洛天依独特的音色特征,从而高度还原了洛天依的音色。
在模型训练过程中,哔哩哔哩鸣实验室以洛天依歌声声库作为主要的数据源,为了增加模型的泛化能力和适应性,通过使用多个音色的说话、唱歌数据,让模型学习到不同发音人之间学习到音色、语义、唱腔等差异和关联,从而提高模型对于说话和唱歌声音的理解和转换能力。使得在保留洛天依唱歌声线的前提下,可以流利自如的进行语言表达。
在基础特征上使用了哔哩哔哩自研语音识别大模型来提供语义信息,同时也加入了诸如呼吸音的非语义信息来丰富效果。在保证说话与唱歌音色保持高度一致的前提下,也实现了能灵活按需调整语调、语速、语气等效果,从而使得声音更加自然生动。此外,为了输出更高质量的洛天依语音,也引入两类不同的判别器,进一步提高了合成音频与目标音频音色的相似度以及合成音频的音质。
同样,在2023年举办的BML和BW洛天依线下展演中,也使用了AI语音声库。除了洛天依,另一位Vsinger虚拟歌手言和也因哔哩哔哩鸣实验室的技术支持,而首次在今年十周年生日会直播上通过AI语音发声交流,相信未来会有更多内容与大家互动。
以洛天依AI语音为契机,看到了人工智能语音技术为虚拟歌手赋予真实的发声能力。在未来,或许能见证AI语音为创作开启更多无限可能,为观众带来更多听觉震撼,更多的感动与共鸣!
评论
- 评论加载中...
常见问题
来自【凤凰视频】网友的评价
“在梦中见不到人，如果知道是梦就不需要醒来，即使在梦中经常约会，也比真如见一次好。”。故事的前半部分主要从三叶的视角来阐述展开，偏远小镇的巫女过着平淡乏味的生活，有着很大的烦恼。向湖许愿的“想成为东京的帅哥”，在一颗彗星到来的早晨实现了。也是这部《》最精彩的地方。
来自【草民电影网】网友的评价
今天终于看了今年我最期待的电影。 的《》，让我做好了看之前可能会有点失望的觉悟，但是看完后，字幕出来的时候，在黑暗中，我默默地流下了两行热泪。这大概不是我第一次看电影后就为剧情流泪，我想我哭只是因为 的才华。
来自【青苹果影院】网友的评价
是网剧没有过的尺度与格调，开头真没想到这么大胆吓人啊，果然《》，邪典又诡异，好刺激。我一直认为所谓的影片是绘声绘色的书 比小说更高 基于虚拟与幻想 回头一想却都是现实的虚幻影子。
来自【神马影院】网友的评价
即使在最困难最黑暗的日子，即使没有希望，即使死亡迫在眉睫，他依然深爱着用生命和智慧守护着他的妻子和儿子。他的勇气和智慧，无论是在战争硝烟弥漫中，还是在收容所的黑暗中，最后枪声响起死亡的那一刻，都散发着耀眼的光芒。
来自【奇优影院】网友的评价
《》五星奉献给自己看的最好的3D电影。李安自己也说，拍这部电影是不可能完成的任务，但他自己辛辛苦苦努力了四年，最终还是做到了。我第一次感觉到3D是电影不可分割的一部分，被变换的画幅比例，分层交替编辑。一切都是为了故事本身。故事从冒险到一些幻想，PI没有很多心灵的表现场景，但我能感受到它。
来自【飘零影院】网友的评价
好剧情片不会在岁月的流逝中失去它的味道，反而会像地下室的酒一样越来越芳醇。久石让的音乐很完美。画面虽然是手绘，但很有亲切感，故事背景细节丰富，人物刻画生动，也有不同于一般动漫的深刻主题。★★★★☆
来自【飘花影院】网友的评价
还不错呐....近期看的比较舒服的剧了，《》幸运的是，他们往往不会利用家人的情绪过度煽情，也不会纠缠法律漏洞，避开韩影最爱用的两个段子，而是聚焦于创伤后家庭心态的变化。受了重伤之后生活一直持续着，但你可以选择如何面对。这部影片的每一个感人之处都源于在细节中与家人一起努力渡过难关所表现出来的积极心态，感动之余，感到欣慰。有些台词真的很好听。
来自【天龙影院】网友的评价
总体来说，《》剧本、导演、独奏都几乎无可挑剔。机智的台词和精彩的法庭辩论，太棒了！即使在结局之前猜到最终结果，也不能让电影精彩。btw，不要剧透电影最后的提示。我真的是第一次见面。★★★★☆
来自【星辰影院】网友的评价
和同学一起看。在剧情片上映。大四之后看了这部剧情片，好像有点不太好。但我不能理解的是，这部电影竟然如此大众化，评价如此之高。。。其实我客观地说，在我心里，只能说这部电影很普通。坦率地说，我看到中间的时候还在睡觉。。。
来自【咪咕影院】网友的评价
等我想到其它，再来补充。还是希望更多人看看《》火钳刘明，未雨绸缪，以备待用，也支持一下
来自【极速影院】网友的评价
一个好的导演，是会调教演员的，知道《》他们演员的优势在哪里。《》是今年最看的动画长篇剧情片。视觉太突出了，按这个就可以做两个刷子。同时，漫画感强，有字幕，对话框，随心所欲的画风和丰富的视觉要素。同时，故事也不落后，精彩有趣。更何况还有六个蜘蛛侠大派对。能把老超级英雄的成长故事讲得如此迷人，甚至还有眼泪。片尾字幕向斯坦利致敬。还有，不要错过最后一个鸡蛋。很奇怪哦。
来自【私人小影院】网友的评价
你做了个梦，梦里你最恨的人死了，醒来他就真的死了，那你是否是无辜的呢？客观发生的剧情符合道德标准，主观上角色的内心却已跌入邪恶的深渊，这无疑是被审查逼出的杰作。用大量的暗示，让你怀疑这个崩塌的结尾。现实开场，童话结束，就问你愿意相信什么吧。。
来自【在线电影院】网友的评价
“”的风格也有不错的特点。影片色彩浓重、造型奇异、场面雄伟，将神佛等在传统造型基础上进行夸张处理，突出形象的装饰性和性格的典型性。该片通过独特的艺术构思和表现手法，充分展示了原作的思想性和艺术性。
来自【四虎影院】网友的评价
刚才做了个梦，梦见有人在说《》这部剧情在很多时候跟在剧透的时候不太一样。而且还说如果我醒过来，可能就跟这个剧情片里面的反派一样，直接倒地。其实这是不是在说我真的是无辜的呢，要知道雪崩时没有一片雪花是无辜的，但是从可观的角度来看，还真的有点不太符合剧情的上的到的水准。
来自【情侣影院】网友的评价
刚才在新闻上又看到，大家都在推荐《》，太喜欢了，这部剧情片很适合我。看起来很简单，但细节一流，感情坦诚，特别是他的手，想知道是不是模特，想拿在手里亲眼看看，是一种备受赞誉的复古机械美。