美文网首页GitHub上有趣的资源程序员生活不易 我用python
5秒克隆语音,我也能用周杰伦的声音唱歌了

5秒克隆语音,我也能用周杰伦的声音唱歌了

作者: 李雨喵 | 来源:发表于2020-08-20 21:04 被阅读0次

Hi!大家好呀!我是你们努力的喵哥!

很多同学都对变声成为别人的声音比较感兴趣。毕竟,声音可是人的重要特征。而且,在没有重大的身体特征变化情况,声音的特征都会跟随我们一辈子。

换个声音,通常会有新的体验。通过变声,突然间给朋友个惊喜,感觉应该很不错的。

是的,说的就是柯南那种效果!

变声也是现在恶搞最常用的方式之一。在短视频大行其道的今天,网上可以找到各式各样的恶搞视频。一些变声视频,娱乐效果满满。看游戏直播的同学,应该对这个场景并不陌生吧。萌萌的萝莉,屏幕后的抠脚大汉。乔碧萝?

如果你是短视频作者,肯定也少不了这个主题。很多短视频 App 也会带有变声的玩法。

如果,那些语音助手 App 也能实现任意切换成任何人的语音,甚至能使用自己语音作为语音助手的声音,是不是非常酷?想想每天早上叫你起床的是你的某个女神的声音!是不是一天感觉都精神了很多。

最常用的变身方式是使用各类变声软件,去调节声音的各类数字特征,以输出特定风格的声音。这种方式,通常可以实现把男声转化为女声、把年轻人的声音转化为老人的声音等。所以,变声软件仅仅是声音风格的改变,很难实现模拟相同的声音。

那么到这里,喵哥就又要开始推荐开源项目了。这个人工智能项目,可以实现人声的学习和模拟。比如,输入一段周杰伦的唱歌的语音,就可以模拟输出周杰伦的声音。例如,输入一段文字,以周杰伦的声音念出来。甚至,你在唱歌的时候,实时将你歌声转化为周杰伦的声音。是不是非常酷?这个开源的人工智能项目就是 Real-Time Voice Cloning。

Real-Time Voice Cloning 是“Transfer Learning from Speaker Verification to Multispeaker Text-To-Speech Synthesis(SV2TTS)”论文的实现,这是一个三阶深度学习框架,允许从几秒钟的音频中创建一个数字化的语音,并使用它来调节训练的“文本转语音”模型,以推广到新的声音。此项目中带有一个实时工作的声码器。

安装和使用

1.安装要求

需要Python 3.6或3.7才能运行该工具箱。

安装PyTorch(> = 1.0.1)。

安装ffmpeg。

运行pip install -r requirements.txt以安装其余必需的软件包。

2.下载预训练的模型

在 Wiki 的 Pretrained-models 中下载最新版本。

3.测试配置(可选)

在下载任何数据集之前,您可以先使用以下方法测试配置:

  • python demo_cli.py

    如果所有测试都通过,那就 OK。

    4.下载数据集(可选)

    对于仅使用工具箱的情况,建议下载 LibriSpeech/train-clean-100。提取内容 /LibriSpeech/train-clean-100 的是你选择的目录。

    工具箱中支持其他数据集,请参见 Wiki。

    您也可以不下载任何数据集,但是您将需要自己的数据作为音频文件,或者必须在工具箱中记录下来。

    5.启动工具箱

    然后,您可以尝试使用工具箱:

  • python demo_toolbox.py -d或者python demo_toolbox.py

    取决于您是否下载了任何数据集。

    6.启用GPU支持(可选)

    注意:启用GPU支持是很多工作。如果您要训练自己的模型,则需要进行设置。

  • pip install -r requirements_gpu.txt

    此外,您需要确保正确安装了GPU驱动程序,并且您的CUDA版本与PyTorch和Tensorflow安装相匹配。

    最后

    喵哥要特别友情提醒下大家,声音也是有版权的,可不要乱搞哦!特别是名人的声音!

    Real-Time Voice Cloning 项目的作者是 Corentin Jemine 。该项目是去年开源在 Github 的,共有12位贡献者。Real-Time Voice Cloning 在 Github 上共收获了 18.4k Star。

    Corentin Jemine 现在已经是全职在开发该项目的商业升级版本。所以,基于  Real-Time Voice Cloning 之上 Resemble.AI 提供了更好的体验。

    项目地址:https://github.com/CorentinJ/Real-Time-Voice-Cloning

    Resemble.AI:https://www.resemble.ai/

  • 相关文章

    • 5秒克隆语音,我也能用周杰伦的声音唱歌了

      Hi!大家好呀!我是你们努力的喵哥! 很多同学都对变声成为别人的声音比较感兴趣。毕竟,声音可是人的重要特征。而且,...

    • ​语音克隆的进步与隐忧:你的声音也可能被盗了

      巴黎一家新公司CandyVoice开发了一款手机应用,只要对着它说出约160个法语或英语短语,程序就能将这些发音的...

    • 语音

      语音功能都快遗忘了。 “我都多久没有听过你的声音了,你就不能用语音跟我说说话嘛,老是打字,想听听你的声音呢。” “...

    • 厉害的ai,我都落伍了

      厉害的ai,我都落伍了。?AI拟声: 5秒内克隆您的声音并生成任意语音内容。github地址[https://gi...

    • 猴哥的声音可以克隆了

      关于声音的克隆,几年前这个AI技术就已经推出了。可以说,在真人 语音音色的克隆上,现在的开源技术可以做到。只要你简...

    • 课程|声音-徐洁 好声音

      1为什么你的声音不好听 周迅声音赋予水旁白灵魂. 好声音要求之一:清晰度(vs周杰伦唱歌) 自己音色先天还有后天训...

    • 你的声音

      文/朤皛 你的声音 是思念声音 是思念陌生的你 你的声音 是我第一次听到的声音 是不能用语音形容的感动 你的声音 ...

    • day1:病友众生像

      电视剧的声音、唱歌的声音,语音通话的声音……好不热闹。不知道的一定以为到了KTV,其实我描述的是病房。 今天上午住...

    • 你的梦想是什么

      自从周杰伦加入《中国好声音》以来,包括去年的新节目《中国新歌声》,我每期都有看,每一个上台唱歌的人,经常被导师问道...

    • 被时光窜过的我们

      7月14日发小从北京回来。 我们不知不觉好几年沒见面了,微信聊天也只能用文字了解一下各自的生活情况,语音会通过声音...

    网友评论

      本文标题:5秒克隆语音,我也能用周杰伦的声音唱歌了

      本文链接:https://www.haomeiwen.com/subject/qawejktx.html