原贴链接

脑海中浮现出哪些选项？

讨论总结

该讨论主要聚焦在本地运行70B模型最具成本效益的堆栈这一主题。大家分享了多种硬件选择如不同型号的显卡、CPU、内存等，分析了各自的优缺点、运行速度、成本等情况，也提及了一些影响成本效益的因素如量化方式、是否需要训练微调、空闲功耗等，还有部分人对原问题的模糊性提出质疑并要求补充信息，整体讨论氛围比较务实，大家积极分享经验和观点。

主要观点

  1. 👍 推荐2x3090用于本地运行70B模型
    • 支持理由：如可完全加载特定版本模型于显存进行即时推理等，有较好的运行速度等优势。
    • 反对声音：无明确反对，但有人指出单3090运行速度慢，且从长远看2x24GB的GPU在时间成本效益上可能更佳。
  2. 🔥 2x P40可作为运行70B模型本地的选择
    • 正方观点：是一种可行的选择。
    • 反方观点：P40价格涨到300美元左右，相比之下P100价格约200美元且FP16性能更好、内存带宽更大，3090速度比P40快3 - 4倍。
  3. 💡 可以花费150美元购买128GB内存在CPU上运行70B模型
    • 解释：虽然速度较慢，但有人认可这种运行方式，并且有人提出一些提高速度的可能，如2x48G模块或者推测解码模式。
  4. 🤔 使用两块RTX 3090可完全加载特定版本模型于显存进行即时推理
    • 解释：若有足够内存也可运行其他版本并进行部分GPU卸载，单块RTX 3090运行相关模型可行但速度慢。
  5. 💪 训练70B模型若无3个以上24GB高端GPU可能无法开展
    • 解释：训练的可行性取决于多种因素包括训练类型、程度、耐心、时间和资源等。

金句与有趣评论

  1. “😂 2x3090”
    • 亮点：简洁直接地给出一种硬件推荐。
  2. “🤔 These are great it’s just a pity that their price jumped up to around 300 bucks as far as I’m aware.”
    • 亮点：指出P40价格上涨影响其性价比。
  3. “👀 2x24GB GPUs might be "most cost effective" in long term time vs. waiting that much longer for every inference for weeks / months /…”
    • 亮点：从长远角度看待不同硬件的成本效益。
  4. “😎 A single 4090 and a fast CPU get me about a token per second running 6 bit quants.”
    • 亮点：给出特定硬件组合下的运行效率。
  5. “🤯 I have an M3 Max with 64 and it’s slow.”
    • 亮点：对某种硬件运行70B模型的速度进行直观反馈。

情感分析

总体情感倾向为中性偏务实。主要分歧点在于不同硬件选择在成本效益方面的优劣比较，例如3090和P40之间的性价比争议。可能的原因是大家从不同需求（如速度、训练微调、仅推理等）和不同成本考量（如金钱成本、时间成本）角度出发，导致对不同硬件的评价不同。

趋势与预测

  • 新兴话题：云服务在1 - 2年内可能是最具成本效益的选择以及云服务的隐私问题。
  • 潜在影响：可能会促使更多人考虑云服务来运行70B模型，也会让硬件制造商在设计硬件时更多考虑成本效益和隐私相关的因素。

详细内容：

标题：探讨本地运行 70B 模型的高性价比方案

在 Reddit 上，一个题为“what’s the most cost effective stack to run locally a 70B model?”的帖子引发了热烈讨论。该帖获得了众多关注，评论众多。

帖子主要探讨了在本地运行 70B 模型的多种硬件配置选择，引发了关于不同显卡、内存配置以及成本效益的广泛讨论。

讨论焦点与观点分析：

有人提到 2x3090 是一种选择。还有人说在美国，经过改装的 2080Ti 具有 22GB 显存，价格约 400 美元，但不确定其速度。有人指出它们还不错，但没有闪存关注或 BF16 支持。

有人认为 Pascal 卡有闪存关注支持，而 Turing 卡没有。也有人说 llama.cpp 不是唯一的后端，还有实际的闪存关注 Python 包。

有用户分享道：“我曾在 4 个 2080Ti 上尝试 Qwen2.5-72B，使用 Q4_K_M gguf 和官方 AWQ 量化，44GB 无法在不卸载的情况下运行 72B 模型。您需要降级到 Q3_K_M 之类的。此外，这些卡不支持闪存 - attn，它们可能不是面向未来的卡。”

有人提到 2x P40 是个不错的选择，不过其价格有所上涨。还有人认为 16GB 的 Tesla P100 售价约 200 美元，FP16 性能更好，内存带宽达 730GB/s。

有人表示买 128GB 内存，在 CPU 上运行，速度约 0.5t/s。也有人说能达到 0.78t/s。

有人认为 RTX 5000 系列在一段时间内不会对二手市场产生太大影响。

有人说用两个 RTX 3090 可以在 VRAM 中完全加载 Llama 3.3 70B 指令以进行即时推理。

有人提到 4x12gb 也可能可行。

对于训练 70B 模型，有人认为至少需要 3 个 24GB 的高端显卡，如 3090 等。

有人分享了自己的配置，如拥有 3090 + 3x nvidia p102-100 和 3x nvidia p104-100s，运行效果等。

有人说 4x3060 12GB 也是一种选择，虽然速度较慢但更便宜。

争议点在于不同配置的性能、价格和适用性，以及是否选择云服务等。共识在于需要根据具体需求和预算来选择合适的配置。特别有见地的观点如对于不同显卡在特定场景下的详细分析，丰富了讨论。

总的来说，关于本地运行 70B 模型的高性价比方案，Reddit 上的讨论提供了丰富多样的观点和经验分享，为大家提供了更多的思考和选择方向。