原贴链接

在我看来，每秒处理速度低于10个token的模型对于实际工作来说并不实用。你们怎么看？

讨论总结

原帖探讨模型每秒处理多少个令牌数可被视为“可用”，认为低于10个每秒对实际工作不实用。评论者们从不同角度给出了各种观点，包括不同任务类型（如总结任务、编码、搜索、娱乐、聊天等）对速度要求不同，个人阅读速度影响对模型速度的接受度，以及质量与速度的平衡等方面，整体讨论氛围积极且充满理性探讨。

主要观点

  1. 👍 模型的可用性取决于任务类型
    • 支持理由：不同任务如总结、聊天、搜索对每秒令牌数要求不同，例如搜索任务需要即时结果，聊天可容忍小延迟，总结任务即便速度慢但结果值得等待。
    • 反对声音：无。
  2. 🔥 每秒10个令牌/秒是模型可用的下限
    • 正方观点：这一速度接近平均阅读速度，对于一般使用足够。
    • 反方观点：有评论者认为9个或更低在某些情况下（如无限免费使用）也算可用，也有人认为要15个以上才可用。
  3. 💡 编码时若模型输出质量高则速度慢可接受
    • 解释：如果模型输出总是正确且质量很高，慢一点也没关系，但多次提问时速度快有助于判断正确性，速度和质量是一种平衡关系。
  4. 💡 不同硬件配置下速度会有差异
    • 解释：例如完全装入GPU的模型可达到65个令牌/秒，但有人认为不需要这么快速度，不同设备上模型的可用速度不同。
  5. 💡 模型可用性不能仅看每秒标记数，输出质量也很重要
    • 解释：每秒10个标记以下虽在实际工作中不实用，但输出质量高则可能可用，反之亦然。

金句与有趣评论

  1. “😂 对于我来说，这在很大程度上取决于手头的任务。”
    • 亮点：简洁概括出模型可用性与任务的关联这一核心观点。
  2. “🤔 在聊天应用中，我希望我的t/s（每秒令牌数）计数相当高，但我会容忍小的延迟，因为人类无论如何也不会立即回答。”
    • 亮点：从聊天应用的实际情况出发，阐述对令牌数和延迟的接受度。
  3. “👀 如果它是天才级别的、总是正确的，我不介意它慢。”
    • 亮点：形象地表达了在编码时对模型质量和速度的权衡态度。
  4. “😂 9t/s if it’s unlimited, free use, but I’d prefer 15 t/s at least.”
    • 亮点：考虑到使用条件（无限免费使用）给出不同的模型可用速度标准。
  5. “🤔 8-10 tok/s for entertainment, but much much higher for prompt processing and actual work (coding, bulk analysis / summarization of data, interactive voice pipelines, etc)”
    • 亮点：明确区分娱乐用途和实际工作对模型速度要求的差异。

情感分析

总体情感倾向为中性偏积极。主要分歧点在于模型“可用”的每秒令牌数标准，原因是大家从不同的使用场景、任务类型、个人习惯等方面考虑，例如有人从编码角度出发，有人从娱乐用途出发，还有人考虑硬件设备等因素，导致对模型可用的速度标准有不同的看法。

趋势与预测

  • 新兴话题：模型速度与回复时间、流传输的关系，以及自动化用例中模型的响应性要求。
  • 潜在影响：对于模型开发者来说，需要更多考虑不同任务场景下的用户需求，开发出更具针对性的模型；对于使用者来说，能根据自己的需求更好地选择合适速度的模型。

详细内容：

标题：模型每秒处理令牌数的“可用”标准引发激烈讨论

在 Reddit 上，一个关于模型在每秒处理令牌数达到何种程度才能被视为“可用”的话题引起了众多网友的关注。原帖作者认为，每秒处理令牌数低于 10 的模型在实际工作中不太实用，此帖收获了大量的点赞和众多评论。

讨论的焦点主要集中在不同任务对处理速度的需求差异上。有人表示，对于特定任务而言，速度的重要性取决于具体情况。比如，有用户分享道：“对于我正在进行的这个总结任务，虽然处理速度在个位数，但基于初步测试，输出结果很值得，我已经运行了将近两个小时。”还有用户提到：“在进行编码工作时，就希望每秒处理令牌数很高，因为等待代码生成会破坏工作流程。”

有人不介意每秒 1 个令牌的速度，如果任务重要且结果出色，甚至可以让其运行整晚。但也有人认为，对于一些实时性要求高的工作，每秒 10 个令牌以上才够用。比如，在编码工作中，通常希望代码生成速度尽可能快，以便能及时阅读。

有用户指出，对于一般性问答，每秒 7 个令牌就能让人满意，而对于实时聊天，每秒 10 - 30 个令牌是比较理想的速度。还有用户认为，每秒 50 个令牌对于总结工作和处理大量负载非常好。

不同用户对于这个问题的看法差异较大，有人更注重速度，有人更看重输出质量。比如，有人表示：“只要输出结果令人惊叹，我不在乎等待时间，对于重要的输出，我愿意等待数天。”

核心争议点在于如何在速度和质量之间找到平衡，以及不同任务场景下的最佳每秒处理令牌数标准。究竟怎样的每秒处理令牌数才能满足不同用户在各种任务中的需求，仍有待进一步探讨。