原贴链接

我是大语言模型（LLM）方面的新手。我一直看到有人说需要像3090这样的GPU，这很贵。所以我想了解一下大家运行过的更轻便的设置。另外，我正在考虑从一个以前的矿场购买RX480/RX580 8GB（每张约35美元），这可行吗？

讨论总结

原帖作者是LLM新手，觉得用于LLM的GPU如3090太贵，想了解轻量级设置并询问RX480/RX580 8GB显卡是否可行。评论者们从不同角度进行回应，有人推荐其他硬件设备，如FullstackSensei推荐英伟达的显卡而非RX480/580，也有人分享自己的硬件使用经验，如martinerous提到4060 Ti 16GB虽性价比受批评但可满足自己需求，还有人对特定模型和硬件的关系进行阐述，整体氛围是积极交流、互相分享经验的。

主要观点

  1. 👍 可以仅用BitNet模型而不使用GPU
    • 支持理由：grc_crypto提到Solely using BitNet models能够避免使用GPU。
    • 反对声音：BitNet模型目前还不够好。
  2. 🔥 推荐1080ti等英伟达显卡而非RX480/580
    • 正方观点：FullstackSensei认为P40有16GB和CUDA，而RX480/580不具备这些优势。
    • 反方观点：无（未在评论中发现明显反对观点）
  3. 💡 8GB的配置有局限性，取决于使用需求
    • 解释：martinerous指出8GB可能会非常受限，这取决于使用场景和期望。
  4. 💡 二手3060s对于小模型和其他推理任务性价比不错
    • 解释：3060s售价约170美元，12GB显存，两块可当作穷人版3090，低价使其在小模型和其他推理任务中表现不错。
  5. 💡 推荐Titan XP作为廉价GPU的选择
    • 解释：Titan XP具有12GB显存，比1080 Ti更快且显存多1GB，价格约150美元左右，虽然比RX580贵一点，但性能差距很大。

金句与有趣评论

  1. “🤔 Solely using BitNet models I’m able to avoid using a GPU entirely, though they’re not that good yet 🤔”
    • 亮点：提出了一种不使用GPU运行LLM的可能方案，尽管模型目前不够好，但具有一定新颖性。
  2. “👀 I’d recommend any of those over the RX480/580. You get SM6.0 instead of 6.1 in the P40, but at least you get 16GB and CUDA.”
    • 亮点：明确给出硬件推荐的理由，比较了不同硬件的特性。
  3. “😂 Any advice is good advice unless they want me to buy a 1000usd gpu lol”
    • 亮点：以幽默的方式表达了对高价格GPU的态度。
  4. “💡 8GB seems very limiting, depending on what are your use cases and expectations.”
    • 亮点：指出8GB配置的局限性与使用需求相关，具有一定的参考价值。
  5. “🤔 When I bought it, I was very well aware of how criticized it was by reviewers for poor price/performance, but I wanted something to use for neural nets (and also 3D experiments).”
    • 亮点：表明购买硬件时虽然知道性价比不高，但出于特定需求仍然选择，体现了不同用户的需求多样性。

情感分析

总体情感倾向是积极的，大家都在分享自己的经验和建议。主要分歧点在于不同硬件设备的选择，例如对于RX480/RX580显卡，有人不推荐有人觉得可以尝试，可能的原因是大家的使用需求、预算以及对硬件性能的期望不同。

趋势与预测

  • 新兴话题：随着硬件技术的发展，如何更好地利用性价比高的硬件来满足不同规模LLM的运行需求可能会成为新兴话题，例如在有限预算下如何选择合适的硬件组合。
  • 潜在影响：对于LLM的普及和发展有着积极的潜在影响，更多人可以根据自己的实际情况选择合适的硬件设备来运行LLM，从而推动LLM相关技术在更多领域和人群中的应用。

详细内容：

轻量配置探索：在有限预算下寻找最佳的 LLM 运行方案

在 Reddit 上，一篇题为“What’s the lightest setup you ran till now?”的帖子引发了热烈讨论。该帖获得了众多关注，评论数众多，主要探讨了在有限预算下运行 LLM（大型语言模型）的轻量配置选择。

讨论焦点与观点分析：

有人提到仅使用 BitNet 模型能够完全避免使用 GPU，不过其质量还有待提升。还有人询问当前可用的 Bitnet 模型有哪些。也有人分享了相关模型的链接。

有用户指出，从挖矿农场购买 RX480/RX580 8GB 每张约 35 美元是否可行。有人认为，早期能够以 100 美元的价格购买到 P40 或 P100，如今 P100 的价格在 150 - 200 美元。相比之下，不建议选择 RX480/580，而应选择 NVIDIA 的产品，如 1080ti 等。

有人提到在当地市场 1080ti 的价格情况，并就选择 1080ti 还是 M40 进行了探讨。还有人表示自己目前在 Xeon W 配置（W2145 + 64GB REG）上运行，之后可能会转向单颗至强可扩展处理器。

有人分享 AMD Instinct Mi60 在 ebay 上曾有 32GB HBM2 内存仅售 250 美元的好价。也有人提到自己使用 AMD 7600@16gb 和 Ryzen 5700G 的配置情况。

有人认为 8GB 的显存似乎非常有限，具体取决于使用场景和期望。还有人购买了 4060 Ti 16GB 用于神经网络和 3D 实验。

有人通过外接 Quadro P5000 16GB 与笔记本连接，并准备更换笔记本。

有人指出可以先从 CPU 入手，如使用 ollama 运行小型模型。也有人推荐购买二手 3090 等。

有人认为 3060s 在二手市场价格约 170 美元，12GB 显存可作为低价选择。

有人推荐新手使用 Titan XP ，因其速度快于 1080 Ti 且显存更大。

有人在旧 4 代 Thinkpad Carbon X1 上运行 Llama.cpp 和 llama - 3.2 - 3b - instruct 效果不错。

有人表示 RX6600 能较好地处理 7b 模型。还有人推荐购买 P102 - 100 。

争议点主要在于不同配置的性价比和适用性，以及不同地区市场价格和供应情况的差异。共识在于在有限预算下，需要根据自身需求和实际市场情况选择合适的配置。特别有见地的观点如先从 CPU 入手运行小型模型，为预算有限的用户提供了一种可行的尝试途径。

总之，关于轻量配置运行 LLM 的讨论丰富多样，为不同需求和预算的用户提供了诸多参考和思考方向。