原贴链接

我终于说服我的组织购买一台用于大型语言模型（LLM）推理和LoRA微调的工作站。预算约为1.5万美元。据我计算，这个预算应该能配置英特尔i9 - 14900K、128G内存和其他外设的4个4090显卡。关键问题是：据爆料，1月4日的CES即将推出5090，由于它明显更快且显存更大（5090为32，4090为24），我是否应该等5090？等待的坏处是，我不想预算失效（因为新年将至，预算可能被分配到其他地方；而且这只是个传言，5090可能不会推出），同时我想最大程度地获得一台足以用于LLM的服务器！请帮帮我！

讨论总结

原帖主所在组织批准了约1.5万美元的预算用于构建工作站，主要用于LLM推理和LoRA微调，原帖主在考虑是等待可能于1月4日CES发布且性能可能更好、显存更大的5090显卡，还是选择4090显卡。评论者们纷纷给出自己的看法，从不同角度进行分析并提供了多种选择建议，整体讨论氛围积极且理性。

主要观点

  1. 👍 如果4090能满足使用就可现在购买
    • 支持理由：4090是性能不错且能长时间保持优势的显卡，5090可能存在价格过高、难以购买或者出现其他问题等情况。
    • 反对声音：无明确反对，部分人认为5090性能提升值得等待。
  2. 🔥 不建议选择英特尔14900K
    • 正方观点：13和14代英特尔CPU存在严重退化或故障问题且消费级平台PCIe通道少，AMD的产品在工作站市场更具优势。
    • 反方观点：英特尔最近发布了最终修复补丁，有使用者表示自己之前不稳定的机器目前运行良好。
  3. 💡 如果现在就需要设备，应该现在购买4090
    • 解释：5090发布后可能数周或数月内难以获取，并且肯定会很贵。
  4. 💡 对于精调，i9没有足够的PCIe通道来完全加载GPU IO总线且内存有约束，建议采用双至强搭配512GB内存的服务器CPU架构
    • 解释：评论者根据自己使用4x3090进行LLM相关操作的经验得出此结论。
  5. 💡 不建议等待5090显卡，可以考虑2x A6000 Ada构建方式，这种方式对于有相应预算的企业来说更合适
    • 解释：这种构建方式更简单、易于维护且能效更高。

金句与有趣评论

  1. “😂 if you need it now, then buy it now.”
    • 亮点：简洁直接地表达了如果当下有设备需求就无需等待的观点。
  2. “🤔 101m4n：Do not get a 14900k. The 13th and 14th gen intel cpus have serious degradation/failure problems at the moment and consumer platforms barely have any pcie lanes.”
    • 亮点：明确指出英特尔14900K存在的问题，对原帖主的硬件选择有重要参考价值。
  3. “👀 对于LLM任何是都可以的。那些（LLM）不是很难运行只是需要很多显存。甚至2x 3090。”
    • 亮点：提出与大多数人不同的观点，认为对于LLM运行来说，并不一定需要高端显卡，2个3090可能就满足需求。

情感分析

总体情感倾向是积极且理性的。主要分歧点在于是否等待5090显卡，一方认为5090性能提升和显存增加值得等待，另一方则考虑到5090的发布时间不确定、供应难以保障、价格可能过高等因素，建议选择4090或者其他方案。可能的原因是不同用户对于风险的接受程度以及对硬件性能、预算的权衡标准不同。

趋势与预测

  • 新兴话题：有评论提到苹果M4 Ultra可作为运行相关模型的选择，这可能引发后续对苹果硬件在LLM推理和微调方面的讨论。
  • 潜在影响：如果更多人开始考虑AMD的产品，可能会对英特尔在工作站构建方面的市场份额产生影响；对于LLM的发展来说，如果更多性价比高的硬件组合被采用，可能会加速LLM相关技术在更多企业和研究中的应用。

详细内容：

《关于等待 5090 还是选择 4090s 的热门讨论》

在 Reddit 上，有一个关于配置工作站用于 LLM 推理和 LoRA 微调的热门讨论。发帖者终于说服所在组织拨款约 15000 美元用于购置工作站，考虑采用 4 块 4090 显卡，搭配英特尔 i9 14900K、128G 内存和其他外设。但 5090 即将在 1 月 4 日的 CES 上发布，这让他陷入纠结：是等待 5090 呢，还是现在就入手 4090s？等待的风险在于预算可能过期，新的一年预算可能被分配到其他地方，而且 5090 发布只是传闻，也可能不会发布；而直接购买 4090s 又担心错过性能更强、VRAM 更大的 5090。此帖获得了众多关注，引发了大量的讨论。

讨论的焦点和观点主要包括以下几个方面： 有人认为，如果当前的配置能满足需求，现在就可以购买，毕竟 4090 仍然是不错的显卡，且 5090 可能存在价格过高、难以获取等问题。 也有人指出，如果需要立即使用，那就现在购买，因为 5090 发布后可能在数周或数月内都难以买到，就像 4090 当初的情况一样。 一些用户建议选择服务器级别的 CPU 架构，如 Threadripper 或 Epyc，认为它们在 PCIe 通道和内存方面更具优势。 还有人分享了自己构建类似系统的个人经历和案例，展示了具体的组件选择和价格。 有趣的是，有人认为可以等待 5090 发布后，入手降价的 4090，但也有人认为价格不会大幅下降。

在这场讨论中，大家对于是否等待 5090 以及如何选择合适的硬件配置存在不同的看法和建议。但共识在于，要根据实际需求、预算以及可获取性等多方面因素来综合决策。

您觉得在这种情况下，是等待 5090 还是选择 4090s 呢？