原贴链接

我的公司设备如[https://www.reddit.com/r/LocalLLaMA/comments/1gjovjm/4x_rtx_3090_threadripper_3970x_256_gb_ram_llm/]所述。步骤如下：0：设置CUDA 12.x；1：设置llama.cpp，包括克隆代码、构建等操作，使其支持DeepSeek V3；2：下载模型；3：在本地主机端口1234运行模型。最后给出了向模型提问获取结果以及相关的时间统计信息等内容。

讨论总结

原帖详细介绍了在Linux下运行DeepSeek - V3的一系列操作，包括CUDA、llama.cpp的设置，模型下载和运行等步骤。评论中大家从不同方面展开讨论，如硬件投入成本是否过高，设备配置对模型运行的影响，在运行过程中遇到的如内存使用、AVX特性等技术问题，还有一些人对特定参数、微调可能性等表示疑问，整体氛围较为专业和平静，讨论热度不高。

主要观点

  1. 👍 原帖内容容易上手
    • 支持理由：评论者kryptkpr亲身体验觉得容易理解和操作。
    • 反对声音：无
  2. 🔥 运行所需硬件投入成本过高
    • 正方观点：评论者guchdog认为购置4个3090显卡和大量内存来运行Q3 GGUF成本过高。
    • 反方观点：无
  3. 💡 设备配置会影响模型运行
    • 解释：kryptkpr提到自己因设备配置（96GB显存的设备只有128GB内存，256GB内存的设备只有16GB显存）而在玩这个模型时遇到困难。
  4. 🤔 可以在构建命令中添加变量解决AVX未识别问题
    • 解释：emprahsFury提出在构建命令中添加特定的cmake变量来解决可能存在的AVX未识别问题。
  5. 👀 运行DSV3 - Q4时内存使用显示存在疑惑
    • 解释：realJoeTrump提出运行DSV3 - Q4时，不管是否启用llama.cpp的GPU编译，显示只使用了52GB内存且不知原因。

金句与有趣评论

  1. “😂 The thought of considering getting 4 x 3090s and a palette of ram just to run a Q3 GGUF makes me want to re - evaluate my life.”
    • 亮点：以幽默且夸张的方式表达出对运行Q3 GGUF所需硬件投入成本过高的惊讶。
  2. “🤔 celsowm：Hum…here we use lawsuit docs so 4k is too small :(”
    • 亮点：指出在特定工作场景（诉讼文件）下，原帖中的“4k”相关参数不适用。
  3. “👀 kryptkpr：I’m stuck on playing with this model because my rig with 96GB VRAM only has 128GB of RAM and my rig with 256GB RAM only has 16GB VRAM.. but now that I see this post it got me thinking to try to llama - rpc myself up another 128GB over the network 🤔”
    • 亮点：阐述了设备配置对模型运行的影响以及原帖给自己带来的启发。
  4. “😉 EmilPi：Pity for our insignificant rigs. Joking :) I am happy with this, and maybe we’ll upgrade to same Epyc with DDR5 in the near future.”
    • 亮点：幽默地回应关于设备配置的话题。
  5. “🧐 当它加载模型并列出系统信息时，这个构建是否能找到所有的avx特性（我猜最多到avx2）？”
    • 亮点：提出了关于AVX特性识别的疑问，体现对技术细节的关注。

情感分析

总体情感倾向较为中性。主要分歧点较少，其中在硬件投入成本方面有一定的观点倾向（认为成本过高），可能是因为运行DeepSeek - V3所需的硬件配置较高，导致部分用户觉得性价比不高。其他方面多为技术询问和信息分享，没有明显的情感偏向。

趋势与预测

  • 新兴话题：关于能否对文中内容进行微调可能会引发后续讨论，因为目前只是有人提出疑问，但还没有深入探讨。
  • 潜在影响：如果能够确定文中内容可微调或者找到微调的方法，可能会对相关模型在不同场景下的应用产生积极影响，例如提高模型在特定任务下的性能等。

详细内容：

标题：在 Linux 下使用 96GB VRAM + 256GB RAM 运行 DeepSeek-V3

这篇在 Reddit 上引起关注的帖子（点赞数和评论数未知），主要介绍了如何在 Linux 系统下配置硬件来运行 DeepSeek-V3 模型。原帖提供了详细的操作步骤和相关链接https://www.reddit.com/r/LocalLLaMA/comments/1gjovjm/4x_rtx_3090_threadripper_3970x_256_gb_ram_llm/。文章将要探讨的核心问题是关于这种硬件配置的可行性和实际效果，以及用户在操作过程中可能遇到的问题和解决方案。

在讨论中，主要观点如下： 有人认为考虑获取 4 个 3090 显卡和大量内存来运行 Q3 GGUF 让人想要重新评估自己的生活。有人表示想看看 Q3 DS v3 和 L3.3 70B 的 Q8 之间的基准质量测试。有人询问 4k 的上下文，得到了解释。有人提到自己因硬件配置问题在使用模型时遇到困难，但看到这个帖子后有了新的想法。有人讨论了所需的资金，称当时构建全配置不到 1000 美元，现在接近 1500 美元。有人关注 PCIe 通道数量。还有人询问模型加载时是否能找到所有的 AVX 特性，并得到了相应的回答。有人询问内存使用情况，也获得了相关的检查方法。有人关心线程撕裂者系统内存的速度。

总之，这次关于在 Linux 下运行 DeepSeek-V3 的讨论涵盖了从硬件配置到实际操作的多个方面，为有类似需求的用户提供了丰富的参考和交流。