原贴链接

我一直在考虑挑选一两台（设备）来打造一个专用的人工智能服务器，有人做过它的基准测试吗？有人知道它的性能如何吗？我还听说它应该有专门针对人工智能的计算功能，这与Ollama兼容吗？ 同样关于这个问题，有人试过旧的A770吗？如果它在之前的（A770）显卡上性能良好，那么也许这个新的（B580）也会表现不错。

讨论总结

原帖询问B580与Ollama相关性能以及A770相关情况，考虑用B580做AI服务器。评论者们围绕这些话题展开讨论，包括对显卡性能的推测、工作可行性、兼容性、功耗等多方面内容，还涉及与AMD和NVIDIA的比较，整体讨论氛围较为理性客观，大家从不同角度给出自己的观点。

主要观点

  1. 👍 很多人未拥有或试用相关显卡就发表看法是纸上谈兵，应自行查找相关评测
    • 支持理由：很多人没有实际经验就随意发表观点，自己查找评测更能获取准确信息。
    • 反对声音：无
  2. 🔥 质疑B580是否能工作以及认为能工作
    • 正方观点：没有看到确切的使用情况所以质疑。
    • 反方观点：从Ollama的特性等方面判断应该能工作。
  3. 💡 没有CUDA使用B580做AI服务器体验不好，仅做推理的话对CUDA需求没有被高估
    • 正方观点：CUDA对AI服务器的使用有重要意义，没有CUDA会有糟糕体验。
    • 反方观点：如果只是做推理，CUDA不是那么必需的。
  4. 💡 Ollama未提及与Intel GPU的兼容性，猜测B580与Ollama不兼容
    • 解释：根据Ollama已提及的兼容性范围推测与Intel GPU不兼容。
  5. 💡 不建议将英特尔产品用于Ollama，AMD和NVIDIA可即插即用
    • 解释：认为英特尔在Ollama应用上存在困难，AMD和NVIDIA使用更方便。

金句与有趣评论

  1. “😂 Lots of people with who are speaking from their experience of not owning the cards or trying them.”
    • 亮点：指出很多人没有实际拥有或试用就发表意见这一现象。
  2. “🤔 Early indication says they should run more than fine due to generous memory.”
    • 亮点：对显卡运行情况从内存方面给出积极的早期推测。
  3. “👀 I think you greatly overestimate the need for CUDA. If all someone wants to do is infer, they won’t miss it.”
    • 亮点：对CUDA在推理方面需求进行重新审视。
  4. “😎 Ollama doesn’t say anything about compatibility with Intel GPUs, only Nvidia with CUDA and AMD with RocM. So my guess is no.”
    • 亮点：从Ollama自身提及的兼容性情况推测与Intel GPU不兼容。
  5. “🤨 我不会将英特尔用于Ollama…这相当困难，AMD和NVIDIA即插即用。”
    • 亮点：明确表示英特尔在Ollama应用上的困难并推荐AMD和NVIDIA。

情感分析

总体情感倾向为中性。主要分歧点在于B580的性能、与Ollama的兼容性以及英特尔产品在Ollama中的适用性等方面。可能的原因是大家对相关硬件的了解程度不同、使用经验不同，以及不同硬件之间的特性差异导致对这些问题存在多种看法。

趋势与预测

  • 新兴话题：B580空闲功耗的优化方法是否适用于Battlemage。
  • 潜在影响：对那些想要使用B580构建AI服务器或者使用Ollama的用户在硬件选择上有参考意义，可能影响英特尔在相关领域的市场推广。

详细内容：

《关于新 B580 与 Ollama 的热门讨论》

近日，Reddit 上一则关于“Has anyone tried the new B580 with Ollama?”的帖子引发了众多网友的热议。该帖子主要探讨了考虑选用新 B580 来打造专用 AI 服务器，想了解其性能表现，以及其与 Ollama 的兼容性，还提到了旧款 A770 卡的相关情况。截至目前，此帖已获得了较高的关注度，评论众多。

讨论的焦点主要集中在新 B580 与 Ollama 的适配及性能问题。有人认为，早期迹象表明由于内存慷慨，运行应该没问题。比如有用户说：“Lots of people with who are speaking from their experience of not owning the cards or trying them. Arm chair LLM experts who havnt touched grass for a while. Look up your own reviews. Early indication says they should run more than fine due to generous memory.”但也有人直言：“I don’t own the card, but I can confirm they suck ass.”

还有用户提出疑问：“does it even work?”，有人回应称：“Yes, why wouldn’t it?” 也有用户分享个人经历：“i thought there would be some cuda thing or whatever but upon further research yes they work easily.”

关于是否需要 CUDA 支持，观点各异。有人认为：“Without CUDA your gonna have a bad time”，但也有人觉得：“I think you greatly overestimate the need for CUDA. If all someone wants to do is infer, they won’t miss it. Pretty much the only thing I can really think of is FA for quant cache.”

对于新 B580 用于 24/7 服务器的空闲瓦数，有人觉得似乎偏高，不过也在等待观察其与某些主板的适配情况。

总体来看，讨论中对于新 B580 与 Ollama 的兼容性和性能表现存在较大争议，尚无明确的共识。但这些不同的观点和分享为大家提供了更多思考的方向。未来，或许随着更多实际测试和使用经验的分享，这个话题能有更清晰的结论。