原贴链接

讨论总结

帖子主题是关于构建了一个用于比较大型语言模型（LLMs）的工具，并且附上了工具相关的视频。评论者们总体对这个工具持肯定态度，讨论主要集中在工具的改进方向上，如成本分析、标记器差异、功能拓展、数据展示等方面，还涉及到工具构建中的数据来源等问题，整体氛围积极且具有建设性。

主要观点

  1. 👍 构建了一个用于比较LLMs的工具并开源相关数据，工具包含多种功能如排行榜、模型列表和比较工具等
    • 支持理由：原帖作者提到自己构建了工具并开源数据，还介绍了工具的多种功能。
    • 反对声音：无。
  2. 🔥 比较不同模型时要考虑标记器差异对成本和上下文长度的影响
    • 正方观点：不同的标记器会使标记数量不同，从而影响成本和上下文长度的比较，需要考虑这种差异才能使比较更合理。
    • 反方观点：无。
  3. 💡 工具中的图表Y轴起始值设为0能保持真实，有助于以正确视角看待数据
    • 解释：这样可以避免因坐标轴起始值非零可能带来的数据对比偏差，让使用者能更直观准确地了解数据关系。
  4. 💡 提供官方量化模型的基准测试会非常有用
    • 解释：人们大多使用量化版本，其能在相同计算下有更高质量响应，虽然做起来可能困难，但只对官方量化模型进行基准测试更合理。
  5. 💡 希望工具能添加小型模型（设备端模型）
    • 解释：添加这些小型模型后在类似PocketPal这样的应用中进行比较会更简便。

金句与有趣评论

  1. “😂 Odd_Tumbleweed574：In the past few months, I’ve been tinkering with Cursor, Sonnet and o1 and built this website: [llm - stats.com](https://llm - stats.com)”
    • 亮点：这是原帖作者构建工具的介绍，直接点明主题，让大家了解工具的来源。
  2. “🤔 HiddenoO：Is the cost (and context length) normalized to account for tokenizers generating different numbers of tokens?”
    • 亮点：提出了比较不同模型时一个容易被忽视但很关键的成本和标记器差异的问题。
  3. “👀 clduab11：This is awesome, thanks! Any chance you can add HF’s Open LLM Leaderboard into the mix via an API call or something along those lines?”
    • 亮点：在肯定工具的基础上提出了一个很具体的改进建议，即添加HF的Open LLM排行榜。
  4. “😎 sammcj：Good on you for open sourcing it. Well done! One small nit - pick, you called the self - hostable models "Open Source" but there’s no Open Source models in the list there - they’re all Open Weight (the reproducible source aka training data not provided)”
    • 亮点：既肯定了开源行为，又指出了工具中的概念错误，比较全面客观。
  5. “👍 SYEOMANS：Amazing work! I just found myself using it way more than the competitors. In a couple of hours it became my go to to compare models.”
    • 亮点：通过与竞品的比较，侧面体现出这个工具的优越性。

情感分析

总体情感倾向是积极的。主要分歧点较少，大多数评论者都对构建的LLMs比较工具表示认可。可能的原因是这个工具在众多LLMs的复杂局面下有一定的实用性，大家对这样一个有助于了解LLMs的工具持欢迎态度。

趋势与预测

  • 新兴话题：将工具拓展到视频和音乐模型比较的可能性，这可能引发后续关于更多类型模型比较工具的讨论。
  • 潜在影响：如果工具按照评论者的建议不断改进，可能会成为LLMs领域更具权威性的比较工具，帮助用户更好地选择适合自己的LLMs，也可能会促使其他类似工具的开发者改进自己的产品，提高整个LLMs领域的工具质量。

详细内容：

标题：关于比较 LLMs 工具的热门讨论

在 Reddit 上，一个关于比较大型语言模型（LLMs）工具的帖子引起了广泛关注。该帖子提供了一个相关工具的链接https://v.redd.it/br8pidlihd4e1/DASH_1080.mp4?source=fallback，收获了众多的点赞和大量的评论。

讨论的焦点主要集中在成本、上下文长度、模型性能等方面的比较问题。有人指出，不同模型的分词器会产生不同数量的令牌，导致成本和上下文长度的差异，比如克劳德-3.5-索内特（Claude-3.5-Sonnet）与 GPT-4o 相比，在相同提示下使用的令牌数量约为两倍，这在实践中会使成本增加一倍，上下文长度减少一半。有人认为应该使用字符计数来使比较更准确。

还有人提出，不同模型的详细性能比较结果显示，克劳德-3.5-索内特在工具调用方面的平均令牌数明显高于 GPT-4o。有人建议以更好的方式展示成本与质量图表，例如默认禁用 GPT-4 以使图表更具可读性，或者采用对数刻度。也有人认为最好能捕捉基准测试本身的成本以进行公平比较。

此外，对于如何更准确地比较不同模型的成本和性能，大家各抒己见。有人认为应考虑不同用例的差异，有人建议用散点图来更直观地展示价格与速度的关系。

总的来说，这次关于比较 LLMs 工具的讨论非常热烈，大家从不同角度深入探讨了如何使比较更公平、更准确、更具实用性。