原贴链接

无有效文本内容可翻译

讨论总结

原帖进行Qwen2.5在Ollama Mac与open - webUI结合并应用于M3 Ultra 512 gb的测试。评论内容多样，包括针对测试提出补充操作建议如添加PDF、运行不同版本模型等，对系统功耗的讨论，还有对模型速度的不同看法，涉及ChatGPT付费和转变的分享，对苹果硬件在AI应用中的评价，以及一些幽默的调侃和资金紧张的吐槽等，整体氛围比较积极活跃。

主要观点

  1. 👍 在现有测试基础上添加PDF到情境中并进行提问和发布新截图
    • 支持理由：进一步探索和展示更多可能性
    • 反对声音：无
  2. 🔥 认为72b模型每秒9个token的速度慢，推荐运行q4km DS新V3版本以获得更快速度
    • 正方观点：速度实测慢，有更快版本可提升速度
    • 反方观点：认为当前速度接近理论性能，并不慢，且V3提升不显著
  3. 💡 高端AI需要企业级英伟达硬件，家庭/小型企业AI最佳系统是有共享内存的Mac
    • 理由：反映当前AI硬件市场格局及不同硬件在AI应用中的地位
  4. 💡 建议原帖作者制作YouTube视频记录大型模型运行相关操作
    • 支持理由：可分享有趣实际内容
    • 反对声音：无
  5. 💡 认为购买Mac花费10000元后资金紧张，没钱买鼠标垫和显示器支架
    • 理由：高价电脑购买后的资金分配情况

金句与有趣评论

  1. “😂 doggo looks concernd for your electricity bill.”
    • 亮点：以幽默方式调侃电费问题，开启关于系统功耗的讨论。
  2. “🤔 Now add a PDF to the context, ask questions about the document, and post another screenshot for those numbers.”
    • 亮点：为原测试提供了进一步探索的操作建议。
  3. “👀 It is not slow at all and it is to be expected (72GB model+context assuming Q8 with 92GB memory used).”
    • 亮点：在模型速度的争论中提出不同看法。
  4. “😂 Oh shut the entire fuck up; no one cares what you think about someone based off one sentence.”
    • 亮点：幽默地怼回对自己书写方式不满的人，体现冲突。
  5. “😎 Thanks for sharing! Very cool!”
    • 亮点：对原帖分享表示正面积极的态度。

情感分析

总体情感倾向积极正面。主要分歧点在于模型速度的快慢判断以及是否值得更换版本提升速度。可能的原因是不同用户对模型性能的期望、测试环境以及评判标准有所不同。

趋势与预测

  • 新兴话题：如特定事物与bolt.diy结合的效果，可能引发后续讨论。
  • 潜在影响：关于不同硬件在AI应用中的评价可能影响相关硬件的市场认知和用户选择倾向。

详细内容：

标题：Reddit 上关于 Qwen2.5 在 Mac 及相关配置上的测试讨论

最近，Reddit 上有一个关于首次测试 Qwen2.5:72b 在 Ollama Mac 搭配 open-webUI 及 M3 Ultra 512 gb 配置的热门帖子引起了广泛关注。该帖子收获了众多点赞和大量评论。

帖子引发的主要讨论方向集中在性能表现、功率消耗、模型选择以及与其他硬件配置的对比等方面。

核心问题和争议点在于这种配置下的性能是否达到预期，以及不同模型和硬件组合的优劣比较。

在讨论中，有人认为 72b 模型的速度较慢，至少可以运行 q4km DS 新 V3，其速度会更好更快，应该能达到至少 20 - 25 t/s。但也有人表示，在这种配置下，其性能已经非常接近理论值，并不慢。

有用户分享道：“272w 是 m3 ultra 的最大值，我有 256gb 的分档版本，没有超过这个值。llm 最大值约为 220 与 deepseek v3 配合。”

还有人指出：“苹果可能不是最好的公司，但 M 系列芯片是工程上的奇迹。普通 PC 即使有单个 5090 显卡，由于 VRAM 太少，对于 AI 来说基本上就是垃圾。但也有人反驳说，5090 可以运行 Qwen 32B 模型。”

有人说：“5090 搭配 48GB 是必然的，对于 32B QwQ 和适当的上下文来说将是一个强大的配置。”

有人提到：“依赖于常规 ram 中具有高内存带宽的良好系统，如八核通道的线程撕裂者，再结合 5090 显卡，仍然有其优势，但在推理方面，没有什么能真正击败 m3 ultra 256 和 512。”

也有人建议尝试不同的量化尺寸，如 4 位和 8 位。

总之，这次讨论展现了大家对于不同硬件和模型配置的深入思考和热烈交流。