原贴链接

我们是否已经有软件可以像与chatGPT那样进行实时语音对话的LLM？我想托管一个具有语音聊天功能的LLM，并添加自定义语音。

讨论总结

本次讨论主要聚焦于实时语音对话与大型语言模型（LLM）的技术实现和用户体验。参与者分享了多个开源项目和云服务，如“talk-llama”、“GlaDOS”、“LocalAIVoiceChat”等，讨论了这些工具的性能、灵活性和可定制性。同时，也有关于多模态处理、语音识别和文本转语音技术的深入探讨，以及对未来技术发展的预测和期待。

主要观点

  1. 👍 存在一个名为 “talk-llama” 的示例项目，可以在命令行中运行实时语音对话。
    • 支持理由：该项目展示了实时语音对话的可行性，为开发者提供了参考。
    • 反对声音：项目可能需要进一步优化以提高性能和用户体验。
  2. 🔥 使用LLM结合Telegram机器人和语音识别工具可以实现基本的语音对话功能。
    • 正方观点：这种组合简化了实时语音对话的实现过程。
    • 反方观点：单一模式的处理方式在实际对话中可能不太实用。
  3. 💡 实时语音消息可能不完全是实时的，但可以通过发送“录音中…”等事件来模拟实时性。
    • 解释：这种策略提高了用户体验的实时感，尽管技术上并非完全实时。
  4. 🚀 存在可以进行实时语音对话的本地 AI 软件，如 LocalAIVoiceChat。
    • 解释：这类软件为希望在本地环境中实现实时语音对话的用户提供了选择。
  5. 🌟 使用 deepgram api 进行实时语音对话，提供200美元的免费额度。
    • 解释：这种服务为初创项目或个人开发者提供了经济实惠的解决方案。

金句与有趣评论

  1. “😂 The whisper.cpp Q5 base model (edit: english) is crazy small, like 57 MB.”
    • 亮点：展示了技术的轻量化和高效率。
  2. “🤔 It has to be mutlimodal, otherwise all the processing quickly adds up.”
    • 亮点：强调了多模态处理在实时语音对话中的重要性。
  3. “👀 I tried this one out, it works.”
    • 亮点：直接的体验反馈增加了讨论的可信度。

情感分析

讨论总体上呈现出积极的技术探索氛围，参与者对实时语音对话的技术实现和优化表现出浓厚的兴趣。尽管存在一些技术挑战和性能问题，但大多数评论者对未来技术的发展持乐观态度。

趋势与预测

  • 新兴话题：多模态处理和个性化声音技术可能会成为未来讨论的热点。
  • 潜在影响：实时语音对话技术的进步可能会改变人机交互的方式，特别是在娱乐、教育和辅助技术领域。

详细内容：

标题：探索实时语音与 LLM 交互的多样途径

在 Reddit 上，一则关于能否拥有与 ChatGPT 类似的实时语音与语言模型（LLM）对话软件的讨论引起了广泛关注。该帖子获得了众多用户的参与，评论数众多。

原帖作者提问目前是否有能实现与 ChatGPT 一样实时语音交流的 LLM 软件，并表示希望能拥有一个具备语音聊天能力且能自定义语音的 LLM。

讨论的焦点主要集中在各种实现实时语音与 LLM 交互的方法和技术。

有用户提到了https://github.com/ggerganov/whisper.cpp/tree/master/examples/talk-llama这个示例，认为其运行速度惊人。还有用户推荐了 XTTS v2 + RVC，不过也有人指出 XTTS 速度慢，而 Piper 或 Bark 可能是更好的选择。也有人提到可以尝试 Silero 进行语音活动检测（VAD）。

有用户分享道：“The whisper.cpp Q5 基础模型（英语版）很小，只有约 57MB。而且现在我们有能在很多设备上运行的 Gemma 2 2B。只是我还没有很棒的语音合成（TTS）推荐给大家。”

对于如何搭建这样的系统，有用户提出可以使用 LLM + TG 机器人用于语音消息、语音识别工具处理用户语音消息以及文本转语音工具生成响应。但也有人认为这种方式对于实时对话不太实用。

还有用户提到This implementation of GlaDOS 在其系统上运行效果不错，且能较容易地更改提示和模型以及所使用的语音模型。

有的用户表示自己正在进行类似的项目，比如正在开发自己的相关实现，重点关注可定制性，并提到目前在 WSL2 上运行 lm studio + rag + coqui + whisper，从文本生成到响应约需 20 秒。

在众多观点中，关于不同技术和工具的优劣存在一定的争议。比如 XTTS 的速度问题，以及各种模型在不同设备上的适用性。

同时，也有一些共识，比如大家都在积极探索和分享实现实时语音与 LLM 交互的方法和经验。

总的来说，这次关于实时语音与 LLM 交互的讨论十分热烈，展示了大家对这一领域的浓厚兴趣和积极探索。