原贴链接

今天我在工作中与一家非常有趣的硬件公司会面。他们专门制造用于大型语言模型推理的专用集成电路（ASIC）。他们只专注于数据中心服务器市场，但我提出制作消费级PCIE卡或者像树莓派那样的开发板（甚至像谷歌Coral TPU那样小的设备）。他们似乎对这个市场很感兴趣，但不确定是否会流行起来。你们对这种功耗低得多（100 - 200瓦）、能承载本地模型并提供接近GROQ性能水平的推理ASIC卡有何看法？

讨论总结

原帖作者与一家制作用于LLM推理的ASIC的硬件公司会面，询问将业务拓展到消费级产品的市场前景，评论者们展开讨论。一些人看好这个市场，认为低功耗设备领域大有可为，ASIC卡有性能优势且能满足不同需求，可能会撼动当前市场；另一些人则表示怀疑，认为没有成功记录难以吸引投资，当前软件变化快不适合做硬件，且英伟达等已占据市场。

主要观点

  1. 👍 低功耗消费设备领域在AMD和Nvidia战略转移的情况下大有可为
    • 支持理由：AMD和Nvidia将重点放在数据中心，消费设备领域有发展空间
    • 反对声音：无
  2. 🔥 没有成功的长期记录就不会有人投资硬件，当前AI软件变化快不适合做硬件
    • 正方观点：硬件投资需要稳定的软件环境和成功记录
    • 反方观点：有观点认为所描述是逻辑上的下一步，未来有需求
  3. 💡 软件先于硬件
    • 解释：先有软件需求，硬件才能更好地发展与之适配
  4. 👍 认为ASIC卡若要被支持，速度方面需优于GPU
    • 支持理由：统一内存可应对大型模型，速度快才有优势
    • 反对声音：无
  5. 🔥 GPU不太适合LLM任务，且价格过高难以负担
    • 正方观点：GPU最初为游戏和图形工作开发，不适合LLM任务
    • 反方观点：无

金句与有趣评论

  1. “😂 我正在进行多个LLM相关项目，推理和运行模型是我的核心工作，我根本不在乎游戏或其他“两用”的东西。”
    • 亮点：强调LLM项目中对硬件专注于LLM任务的需求，而非像GPU有其他用途的兼顾。
  2. “🤔 我认为中低端GPU性能、内存和带宽的竞品更现实；具有60或70级GPU的功率，但具有24或32Gb的RAM和不错的总线宽度。”
    • 亮点：提出在与ASIC卡竞争时，中低端GPU在性能、内存和带宽方面的竞品更实际。
  3. “👀 ASIC right now is stupid.”
    • 亮点：直接表达对当前ASIC发展的否定态度，较为简洁直白。

情感分析

总体情感倾向较为复杂，既有积极看好ASIC卡市场潜力的，也有持怀疑和否定态度的。主要分歧点在于ASIC卡是否能在市场上成功，看好的人认为有需求且能带来变革，如在性能、功耗、成本方面的优势；持怀疑态度的人认为硬件投资风险大，软件不稳定且已有竞争对手占据市场。

趋势与预测

  • 新兴话题：将模型集成到ASIC卡中的需求、ASIC卡与内存的关系。
  • 潜在影响：如果ASIC卡成功推出，可能会对LLM硬件市场格局产生影响，改变当前英伟达等公司主导的局面，也可能促使更多硬件公司关注低功耗、专门用于AI推理的硬件研发。

详细内容：

标题：关于为 LLM 推理设计的 ASIC 卡的热门讨论

在 Reddit 上，一篇有关为大型语言模型（LLM）推理设计的 ASIC 卡的帖子引发了热烈讨论。该帖子提到作者在工作中与一家制造 ASIC 的硬件公司会面，他们专注于数据中心服务器市场，但作者提出了面向消费者的 PCIE 卡或类似树莓派的开发板的想法，而公司对这一市场的前景表示不确定。此帖获得了众多关注，评论数众多。

讨论的焦点主要集中在这种 ASIC 卡的可行性、市场需求以及与现有 GPU 的竞争等方面。有人认为在消费电子领域，低功耗设备有很大的发展空间，AMD 和 Nvidia 已将重点转向数据中心，这为新的硬件提供了机会。但也有人认为，由于 AI 软件变化迅速，ASIC 卡的前景不明朗，因为只有当软件成熟稳定且变化不大时，它们才有意义。

有用户分享道：“我绝对会购买这些（产品）。也就是说，我可能有点特殊。我正在研究一系列大型语言模型（LLM）的想法，推理和运行模型是我的核心工作，我完全不关心游戏或任何其他“两用”的东西。我在地下室和数据中心的服务器里装满了 GPU，但我很大程度上认为它们非常不适合大型语言模型任务，因为它们最初是为人们玩游戏和做图形工作而开发的。我破产了，买不起足够多的现代高端英伟达显卡，而且坦率地说，我认为它们的价格过高。这个市场需要变革，我很高兴看到至少有人在思考如何去做。”

还有用户表示：“就我们目前所知，GPU 不可能是长期的解决方案。我认为它们填补了一个空白，使得大型语言模型（LLM）得以发展，但随着时间的推移，我认为我们将看到更多专门的硬件出现。但可能需要一段时间才能降到消费者可接受的价格点。”

关于这种 ASIC 卡的优势，有人认为如果其能在功耗、价格和性能方面表现出色，比如能耗在 100 - 200w，能承载本地模型并提供接近 GROQ 水平的性能，就有很大的市场潜力。但也有人认为，PCI 卡不是答案，它们可能可以用类似于英伟达数字的等效技术来调整技术。

同时，也有观点指出，ASIC 卡面临的挑战包括技术更新快导致可能很快被淘汰，以及与 GPU 在灵活性方面的差距。然而，如果其能满足特定需求，也可能在短期内获得一定市场。

总之，关于这种为 LLM 推理设计的 ASIC 卡，Reddit 上的讨论呈现出观点的多样性和复杂性，未来其能否成功进入消费市场仍有待观察。