原贴链接

我正考虑在黑色星期五购买一款Threadripper来搭建本地大语言模型（LLM）推理机。如果预算允许的话，我会添加一些显卡，但这（仅用Threadripper）也可以是一个开端，不是吗？我的考虑是它功耗低（280W），有256GB内存（足够用于其他一些任务）并且之后还可以升级。如果没有任何折扣的话，大概要2200欧元（包含散热、机箱、大量磁盘空间等整个配套）。我希望我能把价格降到至少2000欧或者更低。这样做合理吗？还是我在异想天开？

讨论总结

原帖主打算在黑五购买AMD Threadripper 3600和256GB内存搭建本地大型语言模型（LLM）推理机，想知道是否可行。评论者们从不同角度给出了看法，主要围绕硬件性能、性价比、硬件推荐等方面，有质疑原帖主方案的，也有给出替代方案或补充建议的，整体讨论较为理性和专业。

主要观点

  1. 👍 运行高于700亿参数的模型会很慢，建议将钱花在二手3090显卡上
    • 支持理由：运行大参数模型需要较好的硬件支持，3090显卡在这方面表现可能更好。
    • 反对声音：原帖主表示目前没有可连接GPU的设备，想先搭建基础设备再添加GPU。
  2. 🔥 AMD Threadripper 3600和256GB内存运行本地LLM效果不佳
    • 正方观点：相比其他硬件组合，其运行速度不够快。
    • 反方观点：可以作为基础设备进行后续扩展。
  3. 💡 Epyc与Threadripper有相同规格但更便宜
    • 支持理由：可以用更低的价格构建同代双CPU的Epyc，且有更多功能。
    • 反对声音：未提及。
  4. 👍 主板选择不应为节省预算牺牲功能
    • 支持理由：良好的主板功能有助于设备整体性能。
    • 反对声音：未提及。
  5. 💡 对于运行LLM，RAM不重要，VRAM更重要
    • 支持理由：显存对运行LLM起到关键作用。
    • 反对声音：未提及。

金句与有趣评论

  1. “😂 Running anything higher than 70b (64 gb ram) will be too slow to read in real time.”
    • 亮点：直接指出原帖主方案在运行大参数模型时的速度问题。
  2. “🤔 Better to spend your money on some used 3090s”
    • 亮点：给出了具体的硬件推荐，且是从性价比角度考虑。
  3. “👀 You’ll be able to run any popular LLM model. It’ll just be slow as hell.”
    • 亮点：明确表示原帖主的方案能运行模型但速度很慢。
  4. “😂 My Alibaba EYPC has been cruising along just fine since last October.”
    • 亮点：分享自己设备运行状况，但与主题讨论关联不大，有点偏离主题。
  5. “🤔 Intel granite rapids might be a better bet.”
    • 亮点：提出了不同的硬件推荐选项。

情感分析

总体情感倾向为中性偏理性。主要分歧点在于原帖主选择AMD Threadripper 3600搭建本地LLM推理机是否可行。可能的原因是大家从不同的硬件性能、性价比等角度出发，各自有不同的经验和考量。有的评论者从硬件的参数和运行速度出发认为不可行，而原帖主更多从可扩展性等方面考虑认为可行。

趋势与预测

  • 新兴话题：非本地主机用于LLM实验的可行性和性价比可能会引发后续讨论。
  • 潜在影响：如果更多人接受使用非本地主机进行LLM实验，可能会影响本地硬件搭建市场，也会对相关的硬件销售和推广策略产生影响。

详细内容：

标题：关于 AMD Threadripper 3600 用于本地 LLM 运行的热烈讨论

在 Reddit 上，一则关于“使用 AMD Threadripper 3600（24 核，48 线程）和 256GB 内存来运行本地 LLM 效果如何”的帖子引发了众多网友的热议。该帖获得了大量的关注，评论数众多。

原帖作者考虑在黑色星期五购买 Threadripper 来搭建本地 LLM 推理机，认为其低功耗（280W）、256GB 内存（还能用于其他任务）以及后续可升级性具有吸引力，预算约 2200 欧元，希望能降到 2000 欧元或更低。

讨论焦点主要集中在这种配置是否合理以及与其他方案的比较。有人认为运行高于 70b（64GB 内存）会太慢，不如买些二手 3090 显卡。有用户表示当下没有能连接 GPU 的设备，所以先搭建基础架构后续再添加 GPU。还有人提出若购买 3090 显卡，主板和内存的搭配问题。

有用户分享道：“我的 Alibaba EYPC 自去年十月以来一直运行良好。” 还有用户提出疑问：“什么型号？每秒多少令牌？”

有人认为低层级新 Ryzen 加上疯狂超频的 RAM 会更快，也有人指出真正的 4 通道设置内存带宽会更高。比如，有人说：“4x DDR 4 3200 与 2x DDR 5 8000，理论上 DDR 5 应该更快。”

有人推荐使用 Epyc，称其性价比高，可构建核心数和内存通道更多的配置。但也有人指出 Epyc 在日常使用中可能存在驱动兼容性、缺乏睡眠模式和机箱兼容性等问题。

有用户表示英特尔 granite rapids 可能是更好的选择，并提供了相关链接。

也有人认为对于 LLMs 来说，VRAM 比 RAM 更重要，建议购买配备良好显卡的设备。

讨论中的共识在于，运行本地 LLM 对硬件配置有较高要求，不同方案各有优劣。特别有见地的观点是，在考虑搭建系统时要综合考虑长期使用和性价比，不仅要关注硬件规格，还要考虑实际应用场景和后续升级的便利性。

总之，关于这一话题的讨论丰富多样，为有类似想法的人提供了多角度的思考和参考。