原贴链接

花费3000美元，从香港发货，昨天收到。显然，这张显卡是改装过的，规格为“48GB GDDR6 256 - 位”，而原始的4090/4090D配备的是GDDR6X 384 - 位。将其安装到戴尔Precision T7920（至强金牌5218，384GB DDR4内存，1400W电源）上。正在使用Ollama运行一些模型，到目前为止运行良好。之前有RTX 3090，甚至能将两块GPU都装到系统里，这样就有48 + 24 = 72GB显存。当两块GPU都有负载时，1kW的不间断电源（UPS）会发出哔哔声，表示正在使用超过其100%的功率（它能在几秒内超过100%），所以看起来需要升级。操作系统是Ubuntu 22.04。尝试测量内存带宽，但找不到方法，询问是否有人能帮忙，还询问如何测量Int8性能（每秒万亿次操作，TOPS）。看起来Windows有更多工具来获取这些数据，但现在使用的是Ubuntu。使用qwen2.5 - 72b - instruct - q4_K_M（47GB）模型，16k上下文，在两块GPU上运行Ollama，得到的结果为：提示263 t/s，响应16.6 t/s。更新1：使用[ghcr.io/huggingface/gpu - fryer]，RTX 3090为22 TFLOPS，RTX 4090D为49 TFLOPS，想知道这是什么类型的TFLOPS（半精度浮点数，fp16？）。更新2：使用[llama - bench]（更多细节在帖子中），RTX 3090与RTX 4090D使用qwen2.5 - code 32b（18.5GB）模型对比：pp512为1022.09对2118.70 t/s，tg128为35.28对41.16 t/s；RTX 4090D使用qwen2.5：72b（47GB）模型：pp512为1001.62 t/s，tg128为18.45 t/s。更新3：4090D与4090使用TheBloke/Llama - 2 - 7B - GGUF llama - 2 - 7b.Q4_0.gguf（3.6GB）对比：pp512为9591对14380 t/s，tg128为174对187 t/s

讨论总结

原帖作者购买了4090D显卡，在分享购买信息、硬件配置、初步运行情况以及性能测试遇到的问题后，评论者们从多方面展开讨论。包括性能测试的方法建议，如运行特定模型、使用特定工具等；对显卡噪音情况的好奇与讨论；对显卡性价比的观点；对显卡购买渠道的询问；以及在硬件运行中遇到的如功率限制、驱动问题等内容，整体讨论氛围较为积极，大家积极分享自己的经验与观点。

主要观点

  1. 👍 [原帖应分享仅在4090D上运行模型的性能]
    • 支持理由：[有助于进一步了解4090D单独性能]
    • 反对声音：[无]
  2. 🔥 [运行特定模型和版本以检查提示和生成率]
    • 正方观点：[可以获取一致输入输出长度并检查性能]
    • 反方观点：[无]
  3. 💡 [推荐使用特定版本的llama - bench进行基准测试]
    • [有助于进行基准测试并提供参考]
  4. 🤔 [4090D版本显卡被设计为针对AI性能有所削弱]
    • [有猜测称是为防止中国用于军事用途]
    • [无明确反对声音]
  5. 😎 [对原帖主的运行速度不够快表示质疑]
    • [以自己双3090系统运行速度为对比]
    • [无直接反对声音]

金句与有趣评论

  1. “😂 [MachineMinded: How loud is this thing?]”
    • 亮点：[开启关于显卡噪音的讨论话题]
  2. “🤔 [Run FP8 stuff like video models. See if the optimizations work vs your 3090.]”
    • 亮点：[为性能测试提供一种思路]
  3. “👀 [I recommend using llama - bench with the latest llama.cpp (or HEAD version and build it yourself).]”
    • 亮点：[给出基准测试的工具推荐]
  4. “😎 [Weren’t the D versions of these cards designed to be gimped for AI so that the Chinese couldn’t use them in military or something?]”
    • 亮点：[提出对4090D显卡设计初衷的猜测]
  5. “💡 [I think that motherboard is PCIe Gen 3, I wonder how much it affects performance.]”
    • 亮点：[引出主板对性能影响的讨论]

情感分析

[总体情感倾向为积极正面，大家积极为原帖作者提供建议、分享观点。主要分歧点在于对4090D显卡性能的看法，例如运行速度是否够快，以及4090D显卡是否是被修改的。可能的原因是大家各自的硬件使用经验和对显卡性能的期望不同]

趋势与预测

  • 新兴话题：[关于4090D显卡是否会成为性价比最高的AI显卡的讨论可能会持续]
  • 潜在影响：[如果4090D显卡在AI性能上表现优秀且性价比高，可能会影响相关市场的购买倾向以及显卡制造商的策略]

详细内容：

《关于 RTX 4090D 性能测试的热门讨论》

近日，Reddit 上一则关于购买 RTX 4090D 并进行性能测试的帖子引发了众多网友的热烈讨论。该帖子作者花费 3000 美元从香港购入这张显卡，安装在戴尔 Precision T7920 电脑中，目前在运行 Ollama 模型时表现不错，但在测量内存带宽等方面遇到了问题，向网友求助测试方法。此帖获得了较高的关注度，评论数众多。

讨论焦点与观点分析：

  • 性能测试建议：有人建议单独测试 4090D 的性能，也有人提议对比不同容量模型在 4090 和 4090D 上的表现。
  • 噪音问题：不少用户关注显卡的噪音情况，有人形容其像“吹风机”一样吵，有人则提出了水冷等降噪方案。
  • 测试工具与方法：有用户推荐使用 llama-bench 等工具，并分享了自己的测试结果和相关代码资源。还有人提到 nvtop 用于 GPU 监测，hwloc 用于拓扑。
  • 关于 4090D 的特点：有人认为 4090D 是为限制中国在军事等方面的使用而设计，但其性能仅稍逊一筹，成本相对较低。有人探讨对其进行超频的可能性。
  • 购买与售后相关：有人询问购买渠道和运输时间，也有人担心二手或改装显卡的质量和售后问题。

例如：有用户分享道：“我理解这些 4090D 是通过购买 4090 并重新焊接增加内存得来的。在这种情况下，无论使用与否，相比从新蛋或亚马逊购买的全新产品，它们可能更容易出现故障。”

总之，关于这张 RTX 4090D 显卡的性能、特点、噪音以及购买等方面的讨论丰富多样，为大家提供了多角度的思考和参考。但对于一些问题，如显卡的真实来源和长期稳定性，仍存在争议和不确定性。