原贴链接

大家好，我刚接触LLM。有人能推荐目前最好的多语种LLM吗？我找到一些帖子，但都是一年前的。主要用于英中波语翻译。用3090能跑得流畅吗？

讨论总结

原帖询问在3090显卡上进行多语言（英、中、波语为主）翻译的最佳LLM，评论者们各自推荐了不同的模型，如Qwen2.5 32B Instruct、SeamlessM4T、madlad400 - 10b - mt - gguf、TowerBase - 13B - v0.1、Unbabel/TowerBase - 7B - v0.1、mistral - large、Aya:35b等，并且在推荐过程中涉及模型的性能、适用场景、许可证、翻译任务类型等方面的讨论，整体氛围比较和谐，只是各抒己见，未形成激烈的争论。

主要观点

  1. 👍 Qual_对“可忍受速度”的质疑
    • 支持理由：不同规模任务对速度要求不同，单纯追求速度可能忽视实际应用需求，如8b模型处理单个任务和50万条消息翻译任务速度感受不同。
    • 反对声音：无
  2. 🔥 FullOf_Bad_Ideas推荐Qwen2.5 32B Instruct
    • 正方观点：在波兰语、英语和中文翻译方面表现优秀，使用Apache 2.0许可证开放性好。
    • 反方观点：无
  3. 💡 _underlines_推荐SeamlessM4T模型
    • 该模型适合在RTX 3090运行，支持多种翻译任务和多种语言输入输出。
  4. 💡 Jumpy - Refrigerator74认为mistral - large翻译法语和德语最佳
    • 基于个人经验得出结论，但未涉及其他语言和在3090显卡上的运行速度。
  5. 💡 TheKaitchup推荐Unbabel/TowerBase - 7B - v0.1
    • 适用于非商业应用且能在3090显卡上运行，针对原帖提到的语言翻译需求。

金句与有趣评论

  1. “😂 Qual_：what do you mean by bearable speed?”
    • 亮点：对原帖中模糊概念“可忍受速度”进行直接质疑，引发对速度定义的思考。
  2. “🤔 FullOf_Bad_Ideas：Given how big translation field is and how well LLMs do there, I find it surprising that no regular translation benchmarks are done on LLMs frequently.”
    • 亮点：指出翻译领域缺乏对LLM的定期性能基准测试这一值得关注的现象。
  3. “👀 underlines：Q8 has minimal quality degradation and allows for massive speedups.”
    • 亮点：强调了模型在特定量化级别下的优势，对模型性能优化有参考价值。

情感分析

总体情感倾向比较积极，大家都在积极分享自己的知识和经验，主要分歧点较少。可能的原因是这是一个关于技术选择的话题，大家更多是基于自己的认知和使用经验来提供建议，没有太多利益冲突或者观念上的对立。

趋势与预测

  • 新兴话题：对模型进行专门针对翻译任务的微调可能会成为后续优化LLM翻译性能的一个关注点。
  • 潜在影响：如果在翻译任务上对LLM进行更多的优化，可能会提高多语言翻译的准确性和效率，对翻译行业以及多语言交流等领域产生积极影响。

详细内容：

《寻找适合 3090 显卡的最佳翻译 LLM》

在 Reddit 上，一则题为“Best LLM for translation with a 3090?”的帖子引起了广泛关注。该帖获得了众多的评论和点赞。帖主表示自己刚接触 LLM，想知道目前最好的多语言 LLM 是什么，主要用于在英语、中文和波兰语之间进行翻译，并且询问能否在 3090 显卡上以可接受的速度运行。

讨论的焦点主要集中在以下几个方面： 有人提到“Qwen2.5 32B Instruct 在波兰语、英语和中文方面表现良好，并且遵循 Apache 2.0 协议。同时惊讶于目前在 LLM 上没有经常进行常规的翻译基准测试。”还有用户表示“自己也有相同的看法，感觉现在有意避免基准测试，五年前很容易找到并定期发布，如今竞争激烈，更倾向于不分享。”也有人指出“不知道如何在 LLM 上做翻译基准测试，因为它们只是解码器，不像基于 T5 的模型那么直接。提示、温度等都会影响翻译性能。”

有用户分享了“seamless-m4t-v2-large 能适配 RTX3080 的 10GB 显存，还可以在tts-webui中运行。”

有人尝试了其他模型，比如“madlad400-10b-mt-gguf，Q6 适配小于 10GB 显存，Q8 适配小于 12GB 显存，对于 3090 显卡有足够的余量，Q8 质量降级最小并且速度大幅提升。”

还有人提到“mistral - large 对于翻译成法语和德语是最好的，自己认为比 deepl 更好。”“如果不是用于商业应用，Unbabel/TowerBase-7B-v0.1 是最先进的，适配 3090 显卡。”“使用 Subtitle Edit 搭配 Gemma 2，一次只翻译几个句子，但能自动翻译非常大的文本，不会遗漏任何句子。”

有人提供链接“[DanC403] How about madlad400? https://huggingface.co/google/madlad400-10b-mt 自己尝试了几次，效果不错且适配显存。”

对于模型的选择，有人认为“Aya:35b 似乎最适合您的用例。”还有人提出“也许对模型进行纯翻译的微调会有益处。”也有人探讨“他们不是发现 GPT4 比谷歌翻译准确得多吗？”

讨论中，大家对于不同模型的性能、适配性以及在特定语言翻译上的表现各抒己见，尚未形成统一的结论。但通过这些交流，为寻找适合 3090 显卡的最佳翻译 LLM 提供了丰富的参考和思路。