原贴链接

嗨，我刚开始在本地运行大型语言模型（LLM）。据我所知，要完整运行700亿参数的模型需要48GB显存。那么，对于据传有32GB GDDR7显存的RTX 5090来说，哪些模型是最适合运行的呢？

讨论总结

原帖作者新接触本地运行大型语言模型（LLMs），想知道RTX 5090（传闻32GB显存）能运行哪些模型。评论中有人详细讲解模型的原始和量化形式、不同量化等级对模型质量影响以及在该显卡显存下不同大小模型的运行情况；有人提供相关网址资源；还有人在硬件方面进行比较，如RTX 5090与7900 XTX、M4的比较，以及不同型号显卡在运行LLMs时的优劣，包括速度、兼容性、性价比等方面，整体讨论氛围较为理性且充满技术交流。

主要观点

  1. 👍 模型有原始和量化两种形式，量化能节省显存
    • 支持理由：不同量化格式（如EXL2或GGUF格式）能节省显存，如Q4量化等级能在不过多降低模型质量下节省显存
    • 反对声音：无
  2. 🔥 RTX 5090的32GB显存下，不同大小模型有不同运行情况
    • 正方观点：12B模型可原始运行，30 - 34B模型在低量化时可运行，50 - 60B模型可在低量化下运行
    • 反方观点：无
  3. 💡 目前模型及量化更适配24GB或48GB显存，32GB显存较尴尬
    • 解释：从适配角度看，32GB显存处于中间位置，不像24GB或48GB显存那样适配度高，但随着RTX 5090流行可能会有更多适配模型
  4. 🤔 RTX 5090更快，与huggingface库兼容性好，稳定性强且支持优先
    • 支持理由：从性能、兼容性、稳定性等多方面考量得出此结论
    • 反对声音：有人从性价比角度提出异议，认为7900 XTX价格低且可多卡组合达到更高显存
  5. 😎 不同使用场景下，RTX 5090有不同的最佳运行模型
    • 解释：如编码场景下Qwen - 2.5 - Coder - 32B最佳；对于特定语言，有与之对应的最佳模型

金句与有趣评论

  1. “😂 Models may be used raw or quantized.”
    • 亮点：简洁明了地指出模型的两种使用形式，是理解模型运行的基础概念。
  2. “🤔 Q4 is a minimum quant to use a model properly without noticing too much drop in quality, the higher the better though so you will go up to q6 or q8, which is ALMOST lossless and still massively smaller than raw models.”
    • 亮点：详细解释了Q4量化等级在模型运行中的意义，以及更高量化等级的优势。
  3. “👀 So for RTX 5090 with 32GB VRAM: - 12B model becomes a maximum you will be able to run raw.”
    • 亮点：针对原帖关于RTX 5090的疑问，给出了具体模型在该显卡下的运行情况。
  4. “😏 32b Q6 for higher accuracy. Or 32b Q4 w/ speculative decoding for extra speed.”
    • 亮点：明确推荐了适合RTX 5090运行的32b模型的量化形式及对应优势。
  5. “🤯 5090 is faster, better compatible with the huggingface library, don’t need to stress about stability, always front of the line when it comes to support.”
    • 亮点：从多方面阐述了RTX 5090的优势。

情感分析

总体情感倾向较为中性客观。主要分歧点在于RTX 5090是否值得购买，一部分人从其性能、兼容性、稳定性等方面认为它有优势，另一部分人从性价比角度，对比如7900 XTX等其他硬件，认为RTX 5090不值得购买。可能的原因是不同用户的需求和考量因素不同，有的更注重性能，有的更关注价格。

趋势与预测

  • 新兴话题：M4这种设备在LLM运行中的潜力可能会引发后续更多讨论，因为它在某些方面（如每瓦标记数）有独特表现。
  • 潜在影响：对硬件制造商来说，如果RTX 5090在实际使用中被发现与某些模型的适配性不好或者性价比不高，可能会影响其销售策略；对于LLM使用者来说，这些讨论有助于他们在硬件选择上做出更明智的决策。

详细内容：

标题：关于 RTX 5090 运行 LLM 模型的热门讨论

在 Reddit 上，有一则热门帖子引起了大家的广泛关注，其标题为“Which models would I be able to run with RTX 5090 with 32GB Vram?” 该帖子获得了众多点赞和大量评论。帖子主要探讨了在新接触本地运行 LLM 模型的情况下，对于传闻拥有 32GB DDR7 VRAM 的 RTX 5090，能运行哪些模型的问题。

讨论的焦点集中在不同模型的运行条件和性能表现上。有人详细分析道： “模型有原始格式和量化格式。原始格式如.safetensor 格式，不损失质量但需大量 VRAM。因此，通常会使用量化版本，如 EXL2 或 GGUF 格式，能节省 VRAM 且不太影响质量。Q4 是能恰当使用模型且不明显降低质量的最低量化级别，级别越高越好。对于 RTX 5090 的 32GB VRAM：

  • 12B 模型可原始运行。20 - 22B 模型就太大，无法全部放入 GPU VRAM。
  • 30 - 34B 模型是目前 16GB VRAM GPU 低量化级别能运行的最大模型，在 24GB 的 RTX 4090 或 3090 高量化级别下能无问题运行，所以在 RTX 5090 上会运行得更好。
  • 多出的 8GB 能让相同模型运行更快、具有更长的上下文，或者能运行约 40B 或 50 - 60B 但量化质量较低的模型。

总结来说，这不是革命，而是比 RTX 4090 能更好运行相同模型的 GPU。仍无法运行 70B 模型高于 Q2/Q3 的量化级别，低于此的模型会运行得更快、上下文更长。”

有用户询问 70B 在 Q2/3 时是否如此糟糕，以至于 30B - 40B 模型在低量化时会更好。对此，回答者表示这取决于个人偏好，较小模型在高量化和较大模型在低量化各有优劣。

还有用户分享了自己的尝试，如“我昨天第一次尝试了 70B 模型的 IQ2_XXS，约 19GB，在 4090 上配合 12K 上下文运行良好，但它处理提示中的‘场景’上下文不如 30B 模型。”

关于选择 RTX 5090 还是其他显卡，也有各种观点。有人认为 5090 更快、与 huggingface 库兼容性更好、稳定性有保障；也有人觉得 7900 XTX 性价比更高，或者 3090 在某些方面更具优势。

总的来说，这场讨论展现了大家对于 RTX 5090 运行 LLM 模型的深入思考和不同见解。