原贴链接

你好！我在网上看到二手比特币矿机价格很划算，就在想也许能让Ollama在上面运行。我不确定要不要买，所以在买之前想在这里问问。有没有人让Ollama在RX 480（4GB）上运行过？是否可行？速度快吗？在你们开始告诉我‘实际上，3090是个很棒的选择’之前，我知道RX 480是老显卡了，但我可以用比特币矿机以大约120美元买到8块来运行，我只是好奇是否可行，而不是这是不是最明智的做法。编辑：是RX 470，不是RX 480，我打错了。

讨论总结

原帖主看到二手比特币矿机价格不错，想知道能否在上面的RX 480（实际为RX 470）显卡上运行Ollama，向社区提问。评论者们从不同角度发表观点，有从硬件性能（如显存、带宽、功率等）分析不适合运行的，有从性价比对比推荐其他硬件的，也有从软件支持方面给出运行可能面临的问题的，还有从社交趣味性角度看待这件事的，大家各抒己见。

主要观点

  1. 👍 不建议使用RX 480（4GB）来运行Ollama
    • 支持理由：其属于电子垃圾，32GB内存不值得这样做，且比特币矿机PCIE插槽带宽有限影响推理速度。
    • 反对声音：有人认为即使不是最优解也想尝试。
  2. 🔥 RX 470可能因挖矿板的PCIE带宽而瓶颈，不是很合理的选择
    • 正方观点：考虑到电源、部件、噪音、空间和能效等因素，RX 470无CUDA支持和张量核心导致速度慢。
    • 反方观点：无（评论中未体现明确反对）
  3. 💡 可以使用koboldcpp进行层卸载，但要控制期望
    • 解释：在特定硬件上运行Ollama可能性能不佳，需要合理控制期望。
  4. 👍 若整套RX 470设备120美元可尝试购买，若每张卡120美元则不值得购买
    • 支持理由：若整套价格低可尝试，否则有性价比更高的选择。
    • 反对声音：无（评论中未体现明确反对）
  5. 🔥 推荐nvidia 104 - 100作为替代
    • 正方观点：速度为p40的一半（fp32），慢但可用，软件方面运行多张卡时更易操作且价格为22美元/个。
    • 反方观点：无（评论中未体现明确反对）

金句与有趣评论

  1. “😂 FrostyContribution35：Don’t. A 480 is basically ewaste. All this work for only 32 gigs ram. You’re better off buying a cheap P40.”
    • 亮点：直白地表达了对RX 480用于运行Ollama的不看好，认为是电子垃圾，推荐P40。
  2. “🤔 fallingdowndizzyvr：So when you’re running inference, to get the end result you’re gonna be waiting on the extremely slow pcie connections every time you make a forward pass. That’s not true. This has all been discussed before. For split up the model and run each section sequentially, x1 is fast enough. More than enough.”
    • 亮点：对PCIE连接速度影响推理结果进行讨论，提出不同观点。
  3. “👀 amusiccale：I think you can offload layers using koboldcpp, but … keep your expectations manageable.”
    • 亮点：给出技术方面的操作建议同时提醒要管理好期望。
  4. “😂 我刚花了约180美元买了一个二手的3060 12GB，说实话，我很满意这个选择。”
    • 亮点：从自身购买经历出发给出一种硬件选择的参考。
  5. “🤔 RX480 is 150W, RX470 is 120W so likely 1500W PSU and single 110V 20A breaker would be sufficient.”
    • 亮点：从功率角度分析硬件条件，给出具体的数据参考。

情感分析

总体情感倾向较为中立，主要分歧点在于是否支持使用RX 470/480来运行Ollama。支持尝试的人可能是出于好奇或者想探索性价比高的方案，而不支持的人更多是从硬件性能、软件支持等技术角度考虑，认为有更好的硬件选择。

趋势与预测

  • 新兴话题：可能会进一步探讨如何在老旧硬件上优化运行Ollama或者类似软件的技术方法。
  • 潜在影响：如果能够找到在老旧硬件上运行的优化方案，可能会影响到一些预算有限但又想尝试相关软件的用户，也可能促使更多人挖掘老旧硬件的新用途。

详细内容：

标题：在二手比特币矿机上运行 Ollama 的可行性探讨

在 Reddit 上，有一则热门讨论引起了大家的关注。一位网友发帖称看到二手比特币矿机价格诱人，想在上面运行 Ollama，特别是 8 张 RX 480（4GB）显卡，不过这其实是个笔误，应为 RX 470。此帖获得了众多回复和大量讨论。

讨论焦点主要集中在以下几个方面： 有人认为即便尝试失败，也要思考这个系统是否还有其他用途，是否值得花费精力和金钱去尝试。也有人表示以 120 美元的价格购买可能是有趣的尝试，但需要考虑空间、噪音、功耗以及女友是否允许等问题。 关于 RX 470 运行 Ollama 的可行性，存在多种观点。有人认为它基本属于电子垃圾，PCIe 带宽有限会使推理速度很慢，不如购买更贵但性能更好的 P40。但也有人指出价格差异明显，120 美元的方案有其吸引力。

有用户分享道：“我曾经尝试让 RX 580（4GB）承担一些工作层，在 Windows 系统下虽然不快，但比 CPU 强。”

还有用户表示 120 美元购买整套设备是不错的交易，但若 120 美元只是单张显卡的价格则不划算。

对于能否运行的技术问题，有人提到需要关注主板、软件支持等。例如，有用户指出 RX 470 属于 Polaris 架构，老版本的 ROCm 可能可行，但需要特定版本的 torch 等。也有用户认为主板的 PCIe 接口版本和带宽可能不支持，还有人提到需要兼容的 Ubuntu 分布和内核版本。

总之，关于在二手比特币矿机上使用 RX 470 运行 Ollama，大家观点各异，既有认为可行且价格诱人值得一试的，也有从技术和实用性角度认为存在诸多问题不太可行的。核心争议点在于性价比、技术可行性以及实际使用中的各种限制条件。究竟能否成功运行，还需进一步的实践和探索。