VALL-E一种用于文本到语音合成 (TTS) 的语言建模方法。具体来说,我们使用从现成的神经音频编解码器模型派生的离散代码来训练神经编解码器语言模型(称为 VALL-E),并将 TTS 视为条件语言建模任务,而不是像以前的工作那样连续信号回归。在预训练阶段,我们将 TTS 训练数据扩展到 60K 小时的英语语音,这是现有系统的数百倍。VALL-E 出现了上下文学习能力,可用于合成高质量的个性化语音,只需录制 3 秒的未见过的说话者的注册录音作为声音提示。实验结果表明,VALL-E 在语音自然度和说话人相似度方面明显优于最先进的零样本 TTS 系统。此外,我们发现 VALL-E 可以在合成中保留说话者的情绪和声音提示的听觉环境。
类似的工具
TTSReader
立即以自然动听的声音大声读出任何文本
Dolly AI
Fork your voice in a flash
Codiga
Codiga可以实时检测代码错误...
cursor.so(GPT-4代码编辑器)
Cursor.so采用了“预测型编码”...
CodeSnippets
CodeSnippets是指在编程中常...
SO-VITS-SVC4.0
SO-VITS-SVC4.0详细安装、训练、推理使用步骤
其他人也看的工具
10Web
AI - Powered WordPress Plat...
Synthesizer V
Synthesizer V是一款革命性的音乐制作工具,它使用基于深度神经网络的合成引擎来生成令人难以置信的逼真的歌声。它具有可定制的AI音高生成,无限音轨,无核心限制,VST3/AU插件支持,ASIO支持(Windows), Jack支持(Linux),跨语言合成,AI重取,孤立的抽吸输出,发声模式,音调偏移参数,Microtonal调整,MIDI键盘支持,节拍器和Lua/Javascript脚本。这似乎是一个突破性的工具。
Clips AI
Clips AI自动从播客、网络研...
李宏毅课程-机器学习
由台湾大学李宏毅教授亲授的全网最新机器学习课程,手把手带你敲开人工智能世界的大门,探索AI技术的边界!
Sonix
一个自动转录、翻译和字幕平台,快速、准确、实惠。它可以将音频和视频转换为文本,利用其先进的自动翻译引擎在几分钟内翻译文本,并创建全自动字幕
MagicForm
在不到3分钟的时间内训练你自...