虽然Deepseek论文中讨论的很多内容已被证实,但最受质疑的是训练成本。被高度认为是世界前3 - 5名的NLP研究人员之一的Chris Manning昨天做了一个演讲,并在推特上直播。https://x.com/atroyn/status/1884700131884490762。Deepseek成功地生产了具有大量专家(v3中有256个)的模型。结合多头潜在注意力,再加上在fb8中训练,大大降低了训练成本。Chris Manning认可声称的600万美元的训练计算成本。
讨论总结
该讨论主要围绕Deepseek声称的600万美元训练成本展开。原帖提到Chris Manning认可这一成本,评论中有对他可能因认可此事被无端攻击的荒诞调侃,也有从不同角度探讨Deepseek训练成本的,如与OpenAI成本比较、成本是否可盈利、是否需要重现结果才可信等,还有对Chris Manning作为世界前3的NLP研究者身份的质疑,以及对Deepseek在训练成本上是否诚实的疑惑与信任相关的讨论,整体氛围较为多元,既有严肃探讨也有荒诞调侃。
主要观点
- 👍 Chris Manning认可Deepseek训练成本可能会被无端攻击
- 支持理由:从过去类似情况推测可能遭受无端指责,如被指为中国间谍。
- 反对声音:无。
- 🔥 Deepseek训练成本可能低于OpenAI的1亿美元
- 正方观点:即便不是600万美元,也肯定低于OpenAI的花费。
- 反方观点:无。
- 💡 对大家不相信Deepseek感到不解
- 支持理由:Deepseek发表论文会被详细剖析,撒谎损害大。
- 反对声音:无。
- 👍 若训练成本为600万美元则应可盈利且可被尝试
- 支持理由:该成本相对不高,应具备盈利性和可操作性。
- 反对声音:无。
- 🔥 对将Chris Manning列为世界前3的NLP研究者表示怀疑
- 正方观点:衡量标准模糊,如“最有影响力”和“发表论文最多”都不合适。
- 反方观点:无。
金句与有趣评论
- “😂 LostMitosis: They will come for him: ooh, he is a Chinese mole, ooh he visited Beijing last year.”
- 亮点:以一种荒诞的方式调侃可能出现的无端指责现象。
- “🤔 even if its not 6 mil, it will definitely be less than the 100 mil OpenAI spent.”
- 亮点:在讨论Deepseek训练成本时提供了与OpenAI成本比较的观点。
- “👀 我仍然不确定为什么每个人都如此不愿意相信他们?”
- 亮点:表达对大众不信任Deepseek的疑惑。
- “🤔 如果真的是600万,那它应该是有利可图的,其他人也有能力去尝试一下。我不在乎任何人的想法,除非我们看到它被重现。”
- 亮点:从盈利性和可操作性角度看待Deepseek的训练成本,并强调重现结果的重要性。
- “😂 nodeocracy: Oooh his Air Jordans are red”
- 亮点:以荒诞的元素继续调侃无端指责的现象。
情感分析
总体情感倾向较为复杂,既有对Chris Manning可能遭遇无端指责的戏谑调侃(负面荒诞情绪),也有对Deepseek训练成本理性探讨的中性态度。主要分歧点在于对Deepseek训练成本的信任与否以及对Chris Manning作为世界前3的NLP研究者身份的认可。可能的原因是对Deepseek相关信息的了解程度不同,以及对于衡量研究者影响力标准的不同看法。
趋势与预测
- 新兴话题:随着各实验室对Deepseek成果的研究,可能会有更多关于其训练成本验证结果的讨论。
- 潜在影响:如果Deepseek训练成本确实较低且可被验证,可能会影响相关行业对NLP模型训练成本的预期和投入策略。
详细内容:
标题:关于 Deepseek 训练成本的热门讨论
最近,Reddit 上一则关于 Deepseek 训练成本的帖子引发了广泛关注。该帖子指出,全球顶尖的 3 - 5 位 NLP 研究者之一的 Chris Manning 认为 Deepseek 声称的 600 万美元训练成本是合理的,此帖获得了众多网友的参与,引发了热烈讨论。
在讨论中,有人认为即便不是 600 万美元,也肯定低于 OpenAI 花费的 1 亿美元。还有人表示,不确定为何大家一开始不太愿意相信,毕竟研究者公开了论文,若在重要的成果上大规模撒谎,不仅损害自身形象,也对中国在科技领域的声誉不利。有人提出,如果真的是 600 万美元,那对于其他人来说应该是有利可图且可承受的,在看到成功复现之前,不在乎别人怎么想。也有人提到,Deepseek 的论文中表明“上述成本仅包括 DeepSeek - V3 的正式训练,不包括先前在架构、算法或数据上的研究和消融实验的相关成本”。
有人对“Chris Manning 是顶尖的 3 - 5 位 NLP 研究者”这一说法提出质疑,认为衡量标准不明确,比如不能以空间位置衡量,大多数有影响力的也不一定对,像 Sam Altman 可能做过一些 NLP 研究,而 Elon 可能也有。但也有人回应称,若询问 NLP 研究社区,Chris Manning 会被列为顶尖研究者。
这场讨论的核心争议在于对 Deepseek 训练成本的真实性和合理性的看法。大家各抒己见,有人坚信,有人怀疑。但总体而言,都期待能有更多的证据和复现结果来验证这一说法。相信随着时间的推移和更多研究的开展,关于这一话题的真相会逐渐清晰。
感谢您的耐心阅读!来选个表情,或者留个评论吧!