讨论总结
主题围绕“chain of draft”可削减90%的AI成本展开。主要观点包括它是一种促使推理模型思维链简洁的提示改变，对性能影响在不同任务中有别，有观点认为削减成本同时会削减结果质量，还有人对其作用有不同理解，如认为思维链重点是给模型更多思考时间而非削减成本相关等，整体氛围是理性探讨且存在多种观点交流。
主要观点
- 👍 “chain of draft”是一种促使推理模型思维链简洁的提示改变
- 支持理由：评论中有对其概念的解释表明这一特性。
- 反对声音：无。
- 🔥 “chain of draft”削减AI成本的同时会削减结果质量
- 正方观点：通过自己测试发现该技术会降低结果质量，如在Qwen模型测试中的表现。
- 反方观点：可能是小模型需要更多辅助，不能仅依据小模型测试就判定该技术不好。
- 💡 思维链的重点是给模型更多思考时间
- 解释：评论者认为思维链不应只是采用简短零采样答案，重点在于给予模型思考时间。
金句与有趣评论
- “😂 It just a prompt change to make the inference model concise in its chain of thought.”
- 亮点：简洁地概括了“chain of draft”的本质。
- “🤔 Yes, it can cut AI cost while also cutting result quality.”
- 亮点：直接表达出与标题削减成本但可能影响结果质量的观点。
- “👀 I thought the whole point of CoT was to give models more time to think, rather than resorting to curt zero shot answers.”
- 亮点：体现出对“chain of draft”作用的不同理解。
情感分析
总体情感倾向为中性偏质疑。主要分歧点在于“chain of draft”是否真的能削减成本同时保证性能和结果质量。可能原因是不同人从不同测试、不同角度出发看待这一技术，且测试结果存在差异。
趋势与预测
- 新兴话题：小模型与大模型在应用“chain of draft”技术上的差异可能会引发后续讨论。
- 潜在影响：如果该技术确实在削减成本的同时会削减结果质量，可能会影响其在AI领域的应用推广，也会促使研究者改进这一技术。
详细内容：
标题：“chain of draft”能否大幅降低 AI 成本引发热议
近日，Reddit 上关于“‘chain of draft’ could cut AI costs by 90%”的话题引发了广泛关注。原帖链接为 https://venturebeat.com/ai/less-is-more-how-chain-of-draft-could-cut-ai-costs-by-90-while-improving-performance/ ，吸引了众多用户参与讨论，点赞和评论数众多。
主要讨论方向包括对该技术降低成本的效果评估、对结果质量的影响，以及不同模型的适用性等。文章将要探讨的核心问题是“chain of draft”技术在实际应用中的效果和局限性。
讨论焦点与观点分析： 有人认为这只是提示的改变，能让推理模型在思维链上更简洁。有人指出该技术虽能降低 AI 成本，但也会降低结果质量。比如，有用户分享道：“我用他们在 GitHub 上的[few-shot CoD]示例进行改编用于 SuperGPQA，在使用 Qwen 2.5 7B 测试简单问题集时，没有改进，反而得到更差的结果。” 还有用户表示用 14b（Qwen）和 12b（Nemo）测试，效果也不理想。
有人提出，对于较小较弱的模型可能需要更多支撑，该技术可能更适用于参数范围较大的模型。比如，有人说：“可能对于 32B、70B 或 400B 参数范围的模型，减少令牌计数更为重要。”
也有人认为不能仅凭对一个小模型的测试就下结论，比如有人说：“Chromix_使用了一个很小的 LLM（7b），用大型模型测试会得到相同的结果吗？只在一个小模型上测试不具代表性。”
有人尝试将该技术用于非推理模型，想了解效果如何。还有人表示该技术生成的代码质量差很多。有人觉得整个思维链的重点是给模型更多思考时间，而不是采用简洁的零样本答案。
讨论中的共识在于大家都关注该技术的实际效果和适用范围。特别有见地的观点是指出不能仅根据小模型的测试结果就对该技术全面否定，要综合考虑不同规模和类型的模型。
总之，关于“chain of draft”技术的讨论丰富多样，仍需更多实践和研究来明确其真正的价值和适用场景。
感谢您的耐心阅读！来选个表情，或者留个评论吧！