原贴链接

正如标题所示，就CUDA兼容性而言，V100我们还能使用多少年？我看到有些这种显卡正在出售，我想使用它们组建一个服务器，但我们都知道，这些旧显卡会被淘汰，我不太想面临这种情况（鉴于我已经有2个P100在纸箱里吃灰了）

讨论总结

这个讨论围绕着V100在CUDA兼容性方面还能使用多少年展开。一些人认为V100并非毫无用处，例如在小模型推理和短语境推理方面可能有用，且对于某些业务场景是够用的；也有人觉得V100已经没用了。大家还提及V100不支持的特性、与P100的对比、在二手市场的价格、Flash Attention的支持情况等，在一些观点上存在争议，整体讨论比较技术向。

主要观点

  1. 👍 V100并非毫无用处
    • 支持理由：可用于小模型推理和短语境推理。
    • 反对声音：有人认为V100已无用，因为没有闪存关注和bf16等特性。
  2. 🔥 V100已无用
    • 正方观点：没有闪存关注和bf16等特性。
    • 反方观点：没有bf16也能应付过去。
  3. 💡 取决于应用场景，V100对某些业务案例足够用
    • 解释：从实际业务需求出发，只要能满足业务，V100就能继续使用。
  4. 💡 V100有CUDA 7.0，P100有CUDA 6.0，目前支持Flash Attention比较关键（cuda 6.0及以上即可），但难以预测未来情况
    • 解释：从技术规格角度分析V100和P100目前的情况以及Flash Attention的支持要求，并表示未来难以预测。
  5. 💡 认为V100在CUDA兼容性方面还剩下10.7年
    • 解释：直接给出一个关于V100在CUDA兼容性方面剩余使用年限的答案。

金句与有趣评论

  1. “😂 Spirited_Example_341：V100 are good for paperweights”
    • 亮点：以一种调侃的方式表达对V100无用的看法，比较幽默。
  2. “🤔 Chordless：The "big deal" thing you want your card to support is Flash Attention, and if your card has cuda 6.0 or above you are good to go.”
    • 亮点：指出Flash Attention的支持和cuda版本的关系，是一个比较关键的技术点。
  3. “👀 kryptkpr：Unless you see them for significantly cheaper then 3090, there isn’t much value.”
    • 亮点：从价格比较的角度给出V100价值的判断。

情感分析

总体情感倾向比较中性，主要分歧点在于V100是否还有价值。认为V100有价值的人可能是从实际业务应用、特定功能用途等方面考虑；而认为V100无用的人更多是从其不支持某些特性以及和新设备对比的角度出发。

趋势与预测

  • 新兴话题：V100与H100的性价比比较可能会引发后续讨论。
  • 潜在影响：如果V100逐渐被判定为无用，可能会影响其在二手市场的价格和流通情况，对相关业务使用V100的决策也会产生影响。

详细内容：

标题：V100 还能“服役”多少年？

在 Reddit 上，有一个帖子引发了大家对 V100 未来使用年限的热烈讨论。该帖表示，鉴于 CUDA 兼容性，想知道 V100 还能用多久，还提到自己有 2 个 P100 闲置。此帖获得了众多关注，评论数众多。主要的讨论方向集中在 V100 的实用性、支持的技术以及未来前景等方面。

有人认为 V100 已经没用了，比如“Healthy-Nebula-3603”表示：“V100 已经没用了，不支持 bf16 和 FlashAttention。”但也有人持不同意见，比如“a_beautiful_rhind”称：“你可以不用 bf16。”

“Chordless”提供了相关链接：“The V100 有 CUDA 7.0：https://www.techpowerup.com/gpu-specs/tesla-v100-pcie-16-gb.c2957 ，P100 有 CUDA 6.0：https://www.techpowerup.com/gpu-specs/tesla-p100-pcie-16-gb.c2888 ，这些现在都还行。”并表示难以预测未来的情况。

“AlpinDale”则指出：“Flash Attention 不支持 V100。”

“Chordless”还分享了个人经历：“我用的是 Nvidia P102 - 100 ，cuda 6.1 搭配 Llama.cpp ，启用 Flash Attention 后大幅降低了上下文的内存需求。46000 个 qwen - 2.5 - 7b - coder - q8 的 token 上下文：启用 Flash Attention 时，2.5GB KV 缓存和 0.3GB 计算缓冲区；不启用时，2.5GB KV 缓存和 2.7GB 计算缓冲区，而且整个会因为 VRAM 少 2GB 而加载失败。”

“DeltaSqueezer”认为还有 10.7 年。

“kryptkpr”表示：“除非价格比 3090 便宜很多，否则没什么价值。”

“Creative-Society3786”分享道：“在中国二手市场，我看到 16GB VRAM 的 sxm2 V100 大约 150 - 200 美元。搭配 am sxm2 转 pcie 或 sxm2 主板，如果能低价买到，也还不错。”

讨论中的共识是 V100 的价值取决于具体应用和价格。特别有见地的观点如“Chordless”对于内存需求变化的分享，丰富了讨论内容。

总之，关于 V100 还能使用多久的问题，大家众说纷纭，未来的发展仍充满不确定性。