原贴链接

所有部件都是二手的，总共花费不到4000美元（实际上约3300美元，因为在组装之前我已经有一块3090显卡了）。AMD EPYC 7763是我花600美元找到的工程样品，主板是开箱的超微h12ssl - i，有128条PCIE通道。我耐心等待优惠才买到两块3090显卡，每块价格从未超过650美元。100美元买了个二手的1600W EVGA电源，连接在专用的20A 120V支路电路上。DDR4内存二手的非常便宜，不过我没选速度最快的。没有散热或供电问题，我甚至不需要对显卡进行功率限制。其中一块3090有定制的水冷块（中间那块），这不仅节省空间，还有助于直接散热。运行裸机版的Ubuntu 22.04系统，不过我用docker/KVM来实现多任务处理。到目前为止主要使用openwebui + ollama。主要使用qwen 2.5 32编码用于编码，72b用于一般任务。

讨论总结

帖子作者分享了自己高性能计算机的配置及花费，评论涵盖多个方面。有对在电脑硬件上投入大量金钱作为爱好表示惊讶或理解的，涉及不同的消费观念；也有针对硬件性能、技术设置（如模型量化、速度优化等）的技术讨论，还包括对硬件组装相关的机箱选择、散热等问题的探讨，整体氛围较为理性且讨论方向多元。

主要观点

  1. 👍 对在电脑硬件上投入大量金钱作为爱好难以理解
    • 支持理由：与自己消费观念不同，在非必要爱好上花大钱难以接受。
    • 反对声音：这是正常的爱好投入，有实际收益。
  2. 🔥 不同模型和量化配置下有不同的每秒token数量
    • 正方观点：不同的模型量化和配置必然会导致速度差异。
    • 反方观点：无（未提及）。
  3. 💡 组装AI盒子时机箱选择上存在差异
    • 有人选择封闭机箱以保持外观整洁，有人选择开放式机箱以获得更好散热。
  4. 🌟 考虑将挖矿设备转换为AI设备，但面临成本权衡问题
    • 训练AI版《我的世界》玩家电费成本过高，使用OpenAI可能更划算。
  5. 🤔 双至强服务器主板可省钱构建计算机
    • 可低价购入CPU、内存和主板，适合预算有限者。

金句与有趣评论

  1. “😂 bgighjigftuik：It always surprises me how you guys are willing to dump 3K+ on these rigs as a hobby, when I feel bad for buying $200 headphones for instance because I can live without them”
    • 亮点：通过对比自己购买耳机的消费心理，表达对在电脑硬件上高额投入作为爱好的惊讶。
  2. “🤔 Hisma：15.6 tokens/sec on qwen 72b (Q4_K_M w/ 32k context)”
    • 亮点：直接给出特定模型下的每秒token数量，是技术讨论中的关键数据。
  3. “👀 Zyj：Yikes, very similar to the way i gather the parts for my AI boxes, however i do stick them in closed cases…”
    • 亮点：表明与原帖作者收集零件方式相似但机箱选择不同。
  4. “😎 Hisma：I can just keep adding GPUs and that will do a lot more for my performance than a CPU/memory upgrade.”
    • 亮点：阐述了在自己的配置中GPU对性能提升的重要性。
  5. “💡 ProlixOCs: You should seriously consider running TabbyAPI instead. It provides OAI compatibility, uses the EXL2 format, and offers a ton of config options (including tensor parallelism, fast tensors loading, and splitting attention/MLP layers across GPUs).”
    • 亮点：推荐TabbyAPI并阐述其优势，为技术讨论提供有用信息。

情感分析

总体情感倾向较为中立客观。主要分歧点在于对在电脑硬件上投入大量金钱作为爱好是否值得，原因是不同人的消费观念和对硬件投入回报的预期不同。一些人认为这是有实际收益的爱好投入，而另一些人则觉得在软件任务很多的情况下不需要在硬件上投入这么多。

趋势与预测

  • 新兴话题：将挖矿设备转换为AI设备的实际用途探索，以及不同GPU组合运行大型语言模型的可能性。
  • 潜在影响：对计算机硬件市场的消费趋势可能产生影响，如影响消费者在硬件购买时对性价比、未来升级潜力的考量，同时也可能影响AI相关技术爱好者在硬件配置和软件选择上的决策。

详细内容：

标题：Reddit上的高性能计算机构建热门讨论

在Reddit上，一则关于构建高性能计算机的帖子引发了广泛关注。原帖作者展示了自己花费约4000美元（算上已有部件实际约3300美元）打造的强大计算机配置，包括64核AMD EPYC 7763处理器、160GB 8通道DDR4 RAM、3块3090显卡和6TB NVME存储。此帖获得了众多评论，大家围绕这一配置展开了热烈讨论。

讨论焦点与观点分析：

  • 关于投入与价值：有人对花费数千美元构建这样的设备表示惊讶，认为像买200美元的耳机都觉得奢侈。但也有人表示这是一种爱好，能带来实际益处，比如用于学习和提升AI技能。
  • 技术选择与优势：对于选择本地构建还是使用云服务，存在不同看法。有人认为本地构建在数据隐私、灵活性和定制化方面有优势，随着本地模型的不断进步，也是对未来的一种保障。
  • 硬件配置与性能：讨论涉及到主板、处理器、显卡的选择和搭配，以及能耗、散热等方面的问题。例如，对于闲置时的能耗，有人认为300瓦过高，也有人表示在特定情况下是可以接受的。
  • 应用场景与用途：大家探讨了这样的高性能设备在家庭中的实用用途，如作为编程助手、运行特定模型等。

有人分享道：“作为一名在工业自动化领域工作的人，我有时为了娱乐而编程，有时为了工作。我不想让敏感的IP泄露到公共领域，所以本地构建对我很有意义。”

讨论中的共识在于认识到这样的高性能计算机构建需要一定的技术知识和资金投入，其价值取决于个人的需求和使用场景。

特别有见地的观点如：“好的家庭用途取决于你的想象力。从简单的构思提示到寻找创新用例，最大的挑战是人们缺乏想象力。如果你缺乏想象力并且不愿意学习，那么在这些设备上投入时间和金钱就是浪费。”

总的来说，这次Reddit上的讨论充分展示了大家对于高性能计算机构建的热情和深入思考。