原贴链接

1位LLM的推理框架。支持在CPU上对高达100个BitNet b1.58模型进行每秒（5到7）个令牌的实时推理。代码：https://github.com/microsoft/BitNet。我也希望看到一些多模态支持。然而，项目大纲似乎与llama.cpp相似。你们怎么看？

讨论总结

这个讨论围绕微软的bitnet.cpp开源LLM平台展开。话题包括它是否从llama.cpp fork而来、性能提升情况、发展方向等。其中对于它与llama.cpp的关系有多种看法，对其发展方向也存在疑惑，同时还涉及对微软策略的争议，整体讨论氛围比较活跃，大家积极发表自己的观点。

主要观点

  1. 👍 bitnet.cpp可能是全新构建而非容易反馈到llama.cpp的实现
    • 支持理由：项目声称比llama.cpp有很大提升，看起来像是全新构建。
    • 反对声音：微软已承认继承自llama.cpp，应可将功能PR回llama.cpp。
  2. 🔥 微软有“Embrace, Extend, and Extinguish”的策略
    • 正方观点：微软试图招揽顶尖人才，削弱对手，历史上有类似情况。
    • 反方观点：微软在C#、.net等方面有积极开源贡献，对一些项目仍支持并开源改进。
  3. 💡 BitNet.cpp是从llama.cpp fork而来的
    • 解释：有评论者编译后发现相关证据表明是fork而来。
  4. 💡 目前bitnet.cpp只有CPU实现和小模型用于测试
    • 解释：评论者指出目前该平台的实现和测试情况。
  5. 💡 微软有计划支持GPU且可能推出更大模型
    • 解释：根据平台发展规划做出的推测。

金句与有趣评论

  1. “😂 第三篇关于bitnet推理引擎的帖子了，迫不及待地想让你们发现可以对帖子发表评论。”
    • 亮点：以一种调侃的方式表达对bitnet相关帖子的看法。
  2. “🤔 Downtown - Case - 1755: Now that you mention it, it does use gguf models, which is interesting.”
    • 亮点：指出bitnet.cpp使用gguf模型这一有趣点。
  3. “👀 Embrace, Extend, and Extinguish.”
    • 亮点：用一句话概括对微软策略的看法。
  4. “😉 是的，它（BitNet.cpp）是（从llama.cpp fork而来的）。”
    • 亮点：明确给出关于两者关系的结论。
  5. “🤔 对于bitnet.cpp的发展方向表示疑惑。”
    • 亮点：表达出很多人内心的疑问。

情感分析

总体情感倾向是比较复杂的。一方面对bitnet.cpp本身的技术方面有好奇、疑惑等情绪，例如对其发展方向、与llama.cpp关系的探讨；另一方面对微软存在争议，部分人认为微软有不良策略，但也有人以微软在其他方面的开源贡献进行反驳。主要分歧点在于对微软的看法以及bitnet.cpp未来发展的预期，可能的原因是微软在开源领域的历史形象以及大家对新技术发展的不同期待。

趋势与预测

  • 新兴话题：如果bitnet.cpp确实是从llama.cpp fork而来，后续可能会讨论如何更好地将两者融合或者互相借鉴改进。
  • 潜在影响：如果微软在这个项目上按照计划发展，可能会对LLM在小设备以及多GPU运行等方面产生积极影响，改变目前的格局；而关于微软策略的争议如果持续，可能影响微软开源项目在社区中的接受度。

详细内容：

标题：微软开源的 BitNet.cpp 引发的热议

在 Reddit 上，一则关于微软开源的 BitNet.cpp 的帖子引起了广泛关注。该帖介绍了这一用于 1 位 LLM 的推理框架，称其支持在 CPU 上对大型模型进行实时推理，每秒可处理 5 到 7 个令牌，并提供了相关代码链接：https://github.com/microsoft/BitNet 。同时，发帖者表示希望能看到一些多模态支持，并指出该项目大纲似乎与 llama.cpp 相似，引发了众多讨论。此帖获得了大量点赞和众多评论。

讨论的焦点主要集中在以下几个方面： 有人指出，BitNet.cpp 确实使用了 gguf 模型，这很有趣。还有人表示，微软声称在 llama.cpp 基础上有巨大改进，可能是全新的实现而非简单的回推到 llama.cpp 。也有人认为微软已经承认其继承自 llama.cpp，或许本应将特性回推而不是单独设立项目。相关问题在 https://github.com/microsoft/BitNet/issues/10 也有提及。

有人提到，两者都是 MIT 许可证。

有人希望看到这些变化能整合进 llama.cpp，认为其性能不错。

有人提出疑问，不清楚这一模型是用于微控制器还是小设备。有人回应称，目前只有 CPU 实现和用于测试的小模型，可能在内存有限的手机或迷你 PC 上有用，但期待未来的 GPU 支持和更大模型。

有人认为这是微软的“拥抱、扩展、消灭”策略。并引用了相关链接：https://en.wikipedia.org/wiki/Embrace,_extend,_and_extinguish 以及 [https://drewdevault.com/2020/08/27/Microsoft - plays - their - hand.html](https://drewdevault.com/2020/08/27/Microsoft - plays - their - hand.html) 。

然而，也有人反驳称，微软在 C#和.net 方面做出了重大的性能提升并开源，持续支持被认为已死的 WPF 并开源改进，还通过.net 基金会支持了众多开源项目，让众多开发者受益。

此次讨论中，对于微软开源的 BitNet.cpp 究竟是创新之举还是另有策略，大家各持己见。但无论如何，这一话题都激发了大家对于开源技术和微软行为的深入思考。