原贴链接

随着用于智能驾驶的A100 32G SXM2计算卡逐步被淘汰，价格为1100美元的NVIDIA DRIVE - PG199 - PROD（GA100）已开始出现在市场上。核心：GA100 - 550F - CS - A1。社区里有没有人尝试过用这种计算卡本地运行大型语言模型（LLM）呢？此外，据说这种卡仅在Linux系统上解锁。有没有人尝试过用这种计算卡在Windows系统上运行大型语言模型（LLM）呢？

讨论总结

该帖子主要探讨A100 32G SXM2计算卡相关问题，如是否能在Windows系统运行、价格、性价比、性能等。评论者们从不同角度进行讨论，包括硬件价格构成因素、不同GPU之间的比较、功率需求以及用户需求等方面，整体讨论氛围理性且技术含量较高。

主要观点

  1. 👍 SXM模块便宜是因为准入门槛高
    • 支持理由：后续回复围绕价格展开讨论，提及不同配置花费、适配器价格等侧面反映该观点
    • 反对声音：无
  2. 🔥 A100 32G SXM2无Windows官方驱动，仅支持Linux和QNX系统，但有人自制驱动
    • 正方观点：有人指出其为驱动目的，官方不支持Windows系统
    • 反方观点：无
  3. 💡 A100存在功率需求高的问题
    • 支持理由：评论者明确提及这一缺点并与其他因素一同分析性价比
    • 反对声音：无
  4. 💡 A100能得到更多计算能力但价格不划算
    • 支持理由：与3090对比，考虑到整套设置价格性价比不高
    • 反对声音：无
  5. 💡 若5090与3090整套设置相同则会有竞争力，但5090价格高且供应可能受限
    • 支持理由：从性能提升与价格对比，及可能存在的供应问题分析
    • 反对声音：无

金句与有趣评论

  1. “😂 fallingdowndizzyvr：The reason SXM modules are so cheap is that SXM is pretty significant barrier to entry.”
    • 亮点：直接指出SXM模块便宜的原因，引发后续价格相关讨论
  2. “🤔 Status_Contest39：I have been playing with them already. Very good ones and first time pass with my Tesla V100 SXM2 cards. For A100 32G SXM2, there are no windows drivers officially because they are for driving purpose and only support Linux and QNX system. I saw someone using a handmade windows driver for A100 32G SXM2, lol”
    • 亮点：结合自身经历讲述A100 32G SXM2驱动情况，信息丰富且有趣
  3. “👀 dahara111：Wow! Why is this cheaper than the 4090 even though it has more memory?”
    • 亮点：对A100计算卡价格低于4090且内存更多表示疑惑，引出价格比较的讨论
  4. “👀 dahara111：I would like to use it if it is easy to use.”
    • 亮点：表达出使用A100计算卡的意愿取决于便捷性这一用户角度观点
  5. “👀 gaspoweredcat：thats pretty pricey though and availability will no doubt be limited at launch, most hobby users just need a decent amount of fast vram cheap really”
    • 亮点：指出5090价格昂贵、供应受限，同时表明业余用户需求，概括性强

情感分析

总体情感倾向为中性，主要分歧点较少。大家更多是从技术和性价比角度客观讨论A100 32G SXM2计算卡相关问题，可能的原因是这是一个较为专业的硬件话题，参与者多基于事实和自身经验进行理性探讨。

趋势与预测

  • 新兴话题：关于5090性能提升与价格、供应之间的权衡可能会引发后续讨论。
  • 潜在影响：对于硬件市场来说，这种对不同型号GPU的讨论有助于消费者了解产品性能和价格的关系，可能影响相关硬件产品的销售和研发方向。

详细内容：

标题：关于 A100 32G SXM2 计算卡在 Windows 系统中运行 LLM 的热门讨论

最近，Reddit 上一则关于 A100 32G SXM2 计算卡的帖子引发了众多网友的热烈讨论。该帖子提到，随着用于智能驾驶的 A100 32G SXM2 计算卡逐渐被淘汰，NVIDIA DRIVE-PG199-PROD（GA100）以 1100 美元的价格出现在市场上，并询问社区是否有人尝试用此卡来本地运行 LLM，还提到此卡据说仅在 Linux 系统解锁，想了解是否有人在 Windows 系统上做过尝试。该帖子获得了大量关注，评论数众多，主要围绕此卡的适配性、性价比以及运行环境等方面展开讨论。

在讨论中，观点众多。有人指出 SXM 模块价格便宜是因为 SXM 本身存在较高的使用门槛。有人分享自己以相对低价购买了多个 SXM2 到 PCIE 适配器，也有人展示了相关的购买链接。还有人提到 A100 32G SXM2 计算卡存在功耗大的问题，有人成功运行过，但需要对驱动进行处理，且是在 Linux 系统下。

比如，有用户分享道：“SXM2 到 PCIE 适配器在 eBay 上的价格已经降到 200 美元，但一个散热器还要 300 美元，它们太大了。”

同时，关于性价比也有不同看法。有人认为 1000 美元的 GPU 加上 200 美元的适配器，不如选择两个 3090 显卡。但也有人认为此卡的性能优势可能使其具有竞争力。

讨论中也存在一定的共识，比如大家普遍认为 SXM 适配器价格较高且不易寻找。

特别有见地的观点是，有人认为如果能从报废的特斯拉中拆解出 A100 32G SXM2 计算卡，且所在地区没有销售税或增值税，那么在价格上可能更有优势。

总的来说，这次关于 A100 32G SXM2 计算卡的讨论十分热烈，为大家提供了多方面的思考和参考。但对于其在不同系统中的应用以及性价比等问题，仍有待进一步的探索和实践。