原贴链接

Teuken 7B刚刚发布在HuggingFace上：[openGPT - X（OpenGPT - X）](https://huggingface.co/openGPT - X)。它显然是基于欧洲所有24种官方语言进行训练的，而且似乎主要由联邦基金资助。由于政府介入很多，我对它期望不高，但还是希望它不错！这是他们的发布博客文章：[Teuken 7B Instruct - OpenGPT - X](https://opengpt - x.de/models/teuken - 7b - de/)。从理论上讲，它看起来还不错：https://llminfo.image.fangd123.cn/images/961uax28ya3e1.png!/format/webp。有人已经试用过了吗？

讨论总结

这个讨论围绕新发布的欧洲模型Teuken 7B展开。大家从模型在不同语言中的表现，如芬兰语表现差、各语言在数据集中占比差异大等方面进行探讨，还涉及到模型的数据集过滤、版本差异、资金来源等话题，也有人对原帖中一些表述进行纠错，整体讨论氛围较为理性客观，存在不同的观点和评价。

主要观点

  1. 👍 Teuken 7B在芬兰语方面表现不佳
    • 支持理由：评论者mpasila表示其在芬兰语方面表现差，且计算了芬兰语在总token中的数量并与维基百科的token数比较。
    • 反对声音：无
  2. 🔥 原帖中关于“欧洲的24种官方语言”的表述存在问题
    • 正方观点：Feztopia指出应区分欧洲和欧盟概念，原表述包含错误信息。
    • 反方观点：无
  3. 💡 对模型优化语言数量与评估语言数量不符表示疑问
    • 解释：Jamais_Vu206质疑优化24种语言却只评估21种语言。
  4. 💡 认为多语言模型优于主要针对英语的模型不算令人惊艳
    • 解释：Jamais_Vu206觉得这种优势并不太突出。
  5. 💡 对在低资金下做出模型成果表示肯定
    • 解释：Stabile_Feldmaus认为在资金较少的情况下做出成果很不错。

金句与有趣评论

  1. “😂 RoseRedCinderella: Lmao for a model claiming to incorporate European languages it sure has little of them in it’s dataset.”
    • 亮点：幽默地指出模型声称包含欧洲语言但数据集中占比低的矛盾。
  2. “🤔 Feztopia: "You must learn the difference between Europe and the EU."”
    • 亮点：直接指出原帖表述中的概念混淆问题。
  3. “👀 Jamais_Vu206：Why 24 languages if they optimized for 21?”
    • 亮点：提出对模型优化和评估语言数量不符的疑问。
  4. “💡 Stabile_Feldmaus：Hi, I just wanted to say that I find your work very cool. I’m really happy about the fact that an initiative of German (or more generally EU) companies and research institutions managed to create something that, although it’s not at the top of rankings, shows that we have the know how and the ability to produce these kind of models. In particular considering the ridiculously low funding of 14 million EUR!”
    • 亮点：肯定在低资金下做出模型成果的努力。
  5. “😒 matadorius: Ohh so cute look at the Europeans trying to do some hobby project”
    • 亮点：表现出对欧洲项目轻视的态度。

情感分析

总体情感倾向较为复杂。存在对模型质疑、轻视的负面情感，如matadorius认为是业余项目；也有肯定、认可的正面情感，像Stabile_Feldmaus对低资金下做出成果的肯定。主要分歧点在于对模型的评价，原因是大家从不同角度看待这个模型，例如从模型性能、资金、项目意义等不同方面出发就会产生不同的态度。

趋势与预测

  • 新兴话题：后续可能会有更多关于模型上下文大小是否合适以及如何改进的讨论，还有可能进一步探讨模型在不同语言写作方面的能力。
  • 潜在影响：如果模型在多语言任务中的表现能够得到提升，可能会影响欧洲多语言环境下语言模型的应用和发展，也可能会对语言模型在全球的竞争格局产生一定影响。

详细内容：

标题：Reddit 热议新欧洲语言模型 OpenGPT-X Teuken 7B

最近，在 Reddit 上，一个名为 OpenGPT-X Teuken 7B 的新欧洲语言模型引起了广泛关注。该模型在 HuggingFace 上发布，据原帖介绍，它声称训练了欧洲的 24 种官方语言，且主要由联邦资金资助。此帖获得了众多的点赞和评论，引发了大家对其性能、语言覆盖范围、数据分布等方面的热烈讨论。

在讨论中，主要观点包括： 有人指出该模型在芬兰语方面表现不佳，同时德国语的数据占比较大。比如，有用户分享道：“Well I can say that it’s pretty bad at Finnish but it seems like it has bigger chunk of German compared to other languages used in it’s dataset mix.” 对于数据分布，大家也进行了深入探讨。例如，有用户提到“1%的 4 万亿个标记实际上是 400 亿个标记，远远超过了芬兰语维基百科的 2.94 亿个标记。” 有人质疑“Code”在欧盟国家作为官方语言的情况。 也有用户表达了对该模型在某些小语种支持不足的不满，像“Meh again a model that doesn’t work in my language. Only Gemma 27b is the one that comes close to being useful in generating text in it and translation, it has a 80 - 85% success rate in grammar and word knowledge.” 还有用户对模型中英语占比过高表示不满，认为“too much english.”

在讨论中，也存在一些共识。比如大家普遍认为，模型在语言覆盖和数据分布方面存在需要改进的地方。

一些特别有见地的观点如，有用户提到“Llama 3 仅使用 8%的非英语标记，但依然能很好地工作。”这为讨论提供了新的思考角度。

然而，对于该模型的评价也存在争议。有人觉得它表现不错，有人则认为还有很大的提升空间。

总之，关于 OpenGPT-X Teuken 7B 语言模型的讨论仍在继续，大家都期待它能在未来不断改进和完善，更好地支持欧洲的各种语言。