原贴链接

Github：[https://github.com/SWivid/F5 - TTS](https://github.com/SWivid/F5 - TTS) 论文：F5 - TTS：通过流匹配伪造流畅且忠实语音 演示：[https://swivid.github.io/F5 - TTS/](https://swivid.github.io/F5 - TTS/) 模型权重：[https://huggingface.co/SWivid/F5 - TTS](https://huggingface.co/SWivid/F5 - TTS)

来自Vaibhav（VB）Srivastav： 在10万小时数据上训练 零样本语音克隆 速度控制（基于总时长） 基于情感的合成 长格式合成 支持代码转换 CC - BY许可（商业许可）

  1. 非自回归设计：使用填充标记来匹配文本和语音长度，无需像时长和文本编码器这样的复杂模型。
  2. 带有DiT的流匹配：采用带有扩散变换器（DiT）的流匹配进行去噪和语音生成。
  3. ConvNeXt用于文本：用于细化文本表示，增强与语音的对齐。
  4. 摇摆采样：引入推理时摇摆采样策略以提高性能和效率，无需重新训练。
  5. 快速推理：实现0.15的推理实时因子（RTF），比最先进的基于扩散的TTS模型更快。
  6. 多语言零样本：在10万小时多语言数据集上训练，展示自然、富有表现力的零样本语音、无缝代码转换和高效的速度控制。

讨论总结

这是一个关于F5 - TTS的讨论，涵盖其技术特性、使用体验、与其他语音技术的比较等方面。大多数参与者对F5 - TTS持有积极态度，也有人指出其存在的局限性或提出一些疑问，整体讨论热度不一，部分话题引发较高关注。

主要观点

  1. 👍 F5 - TTS听起来很棒，对其印象深刻
    • 支持理由：许多评论者如Silver - Belt -、No - Improvement - 8316等直接表达该项目很棒，Nic4Las表示对其质量很满意
    • 反对声音：无
  2. 🔥 F5 - TTS在很多情况可能是局部最优解，但存在一些局限性
    • 正方观点：如评论者指出其存在200字符输入文本的限制，在Windows 10上使用困难需修改代码
    • 反方观点：无
  3. 💡 F5 - TTS可能是首个质量超越xtts - v2的开源TTS
    • 支持理由：Nic4Las认为自己尝试过的开源TTS中，F5 - TTS在质量上可能超越xtts - v2
    • 反对声音：无
  4. 🤔 F5 - TTS与本地LLM结合速度会很慢
    • 支持理由：herozorro提出这种结合速度慢，但未详细展开
    • 反对声音：无
  5. 😎 E2在某些方面表现比F5 - TTS好
    • 支持理由：Xanjis表示E2似乎比F5 - TTS要好很多
    • 反对声音：无

金句与有趣评论

  1. “😂 Holy smokes! This sounds great.”
    • 亮点：简单直接地表达对F5 - TTS的惊叹与积极评价。
  2. “🤔 This might indeed be local SOTA for many situations.”
    • 亮点：指出F5 - TTS在很多情况下可能是局部最优解。
  3. “👀 Ngl this might be the first open source tts I have tried so far that can actually beat xtts - v2 in quality.”
    • 亮点：提出F5 - TTS在质量上可能超越xtts - v2的独特观点。
  4. “😉 I had really hard times to get it to work locally on Windows 10. I had to modify the code.”
    • 亮点：分享在Windows 10上使用F5 - TTS的困难及解决办法。
  5. “👍 Sounds great, and it works on windows.”
    • 亮点：表明F5 - TTS在Windows上能运行且给予肯定。

情感分析

总体情感倾向为积极，多数评论者对F5 - TTS表示认可、赞赏。主要分歧点在于F5 - TTS与其他技术（如E2）的比较，可能是因为不同人对语音合成技术的需求和评价标准不同。

趋势与预测

  • 新兴话题：F5 - TTS后续是否会添加更多语言支持。
  • 潜在影响：如果F5 - TTS不断改进和优化，可能会在开源语音合成领域占据更重要的地位，影响相关语音技术的发展方向。

详细内容：

标题：F5-TTS：引发热议的创新语音合成技术

在Reddit上，一篇关于F5-TTS的帖子引起了广泛关注，收获了众多点赞和大量评论。帖子中提供了F5-TTS的Github、论文、演示、模型权重等丰富的相关链接。

原帖介绍了F5-TTS的一系列突出特点，如基于10万小时数据训练、支持零样本语音克隆、速度控制、情感合成、长文本合成、支持代码切换以及采用商业许可的CC-BY协议等。同时还详细阐述了其技术架构，包括非自回归设计、Flow Matching与DiT结合、ConvNeXt用于文本处理、Sway Sampling策略、快速推理以及多语言零样本能力等。

讨论焦点主要集中在F5-TTS的性能、使用体验和潜在的局限性等方面。有人表示这在很多情况下可能是本地的最优解，但局限性是输入文本为200个字符，而且不能复制某些特定声音，显存使用量约为10GB，在Windows 10上本地运行也遇到了困难。不过，也有人指出经过修改代码和优化，显存使用量可降低，输入文本长度限制也能突破。

有用户称在折腾它之后，意识到它加载了两次模型，实际使用的显存峰值来自Whisper V3 - turbo，可以替换为较小的模型或用输入文本代替来降低显存消耗。

有人认为F5-TTS在各个方面远远优于FishAudio和MetaVoice/Expression，甚至具有以前只有Voicecraft才可能具备的高级功能，比如语音编辑。但也有人觉得E2似乎比F5更好。

还有用户将其与其他开源TTS进行比较，如认为它可能是第一个在质量上能超越xtts - v2的开源TTS，让人印象深刻，但也担心运行时问题。

一些用户分享了个人的测试经历，如在Mac pro上的输出令人印象深刻，用西班牙语语音片段训练后英语输出效果不错等。

关于语言支持，目前支持英语和中文，有人期待未来能增加更多语言，如意大利语，但也有人认为开发者对此的承诺比较模糊。

总之，Reddit上关于F5-TTS的讨论展现了大家对这一新技术的浓厚兴趣和深入思考，也反映出其在性能和使用上的优势与待改进之处。