原贴链接

该特性在这条推文（https://simonwillison.net/2024/Nov/4/predicted - outputs/）底部有解释并且提到了推测性解码。一年多以前，llama.cpp就展示过推测性解码，可查看演示（https://x.com/karpathy/status/1697318534555336961）。Karpathy在此（https://x.com/karpathy/status/1697318534555336961）有解释。我们现在有700亿规模的更大模型，也有像llama3.2和qwen2.5这种大约30亿规模的模型，我想知道这是否也有助于本地用户进行更快的推理。

讨论总结

主题围绕OpenAI新功能“Predicted Outputs”使用推测性解码展开。主要观点包括推测性解码的原理、在本地用户中的情况、是否节省费用、对不同规模模型的实用性等，整体氛围是大家理性探讨技术相关话题。

主要观点

  1. 👍 推测性解码可利用小模型生成的“草稿序列”让大模型快速验证来加速标记生成。
    • 支持理由：多数标记常规生成，少数决策点依赖大模型，正常可在单标记生成时间生成多标记。
    • 反对声音：小模型生成内容不符大模型时会浪费时间。
  2. 🔥 认为OpenAI“Predicted Outputs”功能不能节省费用只是减少延迟。
    • 正方观点：依据文章得出结论。
    • 反方观点：有其他用户认为该功能能够节省费用，能将输出token转成输入token。
  3. 💡 推测性解码是设备端推理的标准技术。
    • 解释：如苹果研究中被提及。
  4. 💡 要充分利用推测性解码技术需精心训练推测性模型以实现最大加速。
    • 解释：操作需基于每个模型进行且花费精力。
  5. 💡 多数模型提供者不提供小模型。
    • 解释：在利用推测性解码技术时这是个问题。

金句与有趣评论

  1. “😂 So I think the idea is that you can actually generate a bunch of tokens very quickly if you know the previous tokens.”
    • 亮点：简单直白地阐述推测性解码基本原理。
  2. “🤔 作为一个事实，这是设备端推理的标准技术（例如，这里被提及为“token speculation”：https://machinelearning.apple.com/research/introducing - apple - foundation - models）。”
    • 亮点：提供技术相关的事实依据。
  3. “👀 HelpfulHand3：I was expecting it to save money but it looks like it’s more expensive, just reduces latency.”
    • 亮点：引出关于新功能费用问题的讨论。

情感分析

总体情感倾向比较中立理性，主要分歧点在于OpenAI新功能“Predicted Outputs”是否能节省费用。可能的原因是大家对功能的理解不同以及对OpenAI收费模式的认识不同。

趋势与预测

  • 新兴话题：新功能对云提供商的意义以及对输出质量的影响。
  • 潜在影响：若功能如部分人所想不能节省费用，可能影响用户对OpenAI该功能的使用热情，也可能促使OpenAI调整收费模式；如果对输出质量有影响，会影响其在对输出质量要求高的场景中的应用。

详细内容：

《OpenAI 新功能“Predicted Outputs”引发的 Reddit 热议》

近日，Reddit 上关于 OpenAI 新功能“Predicted Outputs”的讨论热度颇高。原帖[https://simonwillison.net/2024/Nov/4/predicted-outputs/]详细介绍了这一功能，并引发了众多用户的深入探讨。截至目前，该帖已获得了大量的点赞和评论。

讨论的主要方向包括这一功能的原理、实际应用效果、成本与效益等方面。核心问题在于“Predicted Outputs”是否真能如预期那样提升效率、降低成本，以及其在不同场景下的适用性。

有人指出，其原理是在已知先前标记的情况下，可以快速生成一批标记。通常情况下，生成标记需要按顺序进行，但通过使用小模型生成“草案序列”，然后用大模型进行快速测试和验证，如果一致，就能在短时间内生成大量标记，不一致时虽会浪费一些时间，但总体上仍可能领先。

还有用户提到，可以分层或嵌套使用，比如“Llama 1B 预测，8B 检查，若不一致则更新。70B 再检查，若需要则更新。405B 最后检查”。也有人认为这类似于并行计算与串行计算的关系，大模型快速验证小模型的结果，两者结合能实现加速。

有人提出，该功能在实际应用中，对于像 70B 这样的大型模型，可能有助于本地用户实现更快的推理。但也有人质疑其成本问题，认为看似减少了延迟，实际却可能更昂贵。

有用户分享道：“我原本以为这能省钱，但看起来更贵了，只是降低了延迟。不过，这也可能非常有用！”

同时，也有人认为对于云提供商而言，其价值可能有限，还有人思考这一功能对输出“质量”的影响，以及在硬件受限情况下的作用。

总之，关于 OpenAI 新功能“Predicted Outputs”的讨论丰富多样，大家在探讨其优势的同时，也对潜在的问题保持着关注和思考。