原贴链接

此贴仅包含一个视频链接（https://youtu.be/FzCEoTiqP7I），无具体内容可翻译

讨论总结

这个讨论主要围绕DeepSeek V3在llama.cpp上运行的相关话题。包括DeepSeek V3目前的支持情况、与DeepSeek V2的差异、模型量化、运行设备的性能、在不同硬件上的速度、功率消耗等技术方面的交流，也有用户表达对项目的期待、喜爱，还有一些关于数据集的独特看法，整体氛围积极，大家积极交流相关技术和经验😉

主要观点

  1. 👍 DeepSeek V3尚未支持相关内容，正在进行相关工作
    • 支持理由：fairydreaming回复表示还未支持，正在做且展示了初步成果
    • 反对声音：无
  2. 🔥 DeepSeek V3和V2有新的预标记器正则表达式差异
    • 正方观点：fairydreaming提及差异为新的预标记器正则表达式
    • 反方观点：无
  3. 💡 DeepSeek V3的q4量化模型较大，达到377G
    • 支持理由：fairydreaming提供模型大小信息
    • 反对声音：无
  4. 💡 对于纯CPU构建，llama.cpp更优
    • 支持理由：recidivistic_shitped指出在纯CPU构建时llama.cpp的优势
    • 反对声音：无
  5. 💡 DeepSeek V3在CPU上每秒20个令牌的速度很惊人，可与llama - 70B在GPU上的速度相比较
    • 支持理由：ortegaalfredo通过对比强调速度惊人
    • 反对声音：无

金句与有趣评论

  1. “😂 ShengrenR: I love and hate regex so much all at the same time..it’s an odd relationship.”
    • 亮点：生动表达对正则表达式的复杂情感
  2. “🤔 kremmlinhelpdesk: I would hate it if I could read it.”
    • 亮点：幽默调侃正则表达式的难懂
  3. “👀 fairydreaming: I converted and quantized the original model by myself. I’m still working on the implementation, so hold your horses, it will take a few more days to finish.”
    • 亮点：体现自己在模型转换量化工作中的情况
  4. “😎 ortegaalfredo：20 Tok/s is insane on CPU, that’s the speed llama - 70B gets on GPU”
    • 亮点：通过对比突出DeepSeek V3的性能
  5. “😄 lev606: 2025 is going to be a fun year.”
    • 亮点：简单表达对2025年的期待

情感分析

总体情感倾向是积极的。主要分歧点较少，部分可能存在的小分歧点在于技术方面如不同硬件和软件在运行模型时的优劣等，但整体大家都是在积极探讨DeepSeek V3相关话题，可能是因为对这个项目感兴趣或者期待它能带来更多的发展和应用🤗

趋势与预测

  • 新兴话题：可能会进一步讨论DeepSeek V3在不同硬件组合（如GPU + CPU）下的最佳推理设置。
  • 潜在影响：如果DeepSeek V3发展良好，可能会推动类似模型在性能优化、硬件适配等方面的研究，对人工智能相关领域的发展有积极的促进作用。

详细内容：

标题：关于 DeepSeek V3 在 llama.cpp 上运行的热门讨论

在 Reddit 上，一个题为“DeepSeek V3 running on llama.cpp wishes you a Happy New Year!”的帖子引起了广泛关注。该帖子包含了一个链接（https://youtu.be/FzCEoTiqP7I），收获了众多点赞和大量的评论。

帖子引发的主要讨论方向集中在 DeepSeek V3 模型的性能、硬件配置要求以及相关技术问题。核心问题包括模型的运行速度、所需的内存和 CPU 配置等。

在讨论中，有人表示对正则表达式（regex）又爱又恨，认为在 LLM 时代，模型能生成正则表达式短语，但仍需要专业人员审核。还有人提到 2025 年会是有趣的一年，并期待有更经济高效的模型出现。

关于硬件配置，一位用户分享道：“Epyc 9374F，12x32GB RAM，384GB 的内存使得 DeepSeek V3 量化到 Q4 刚刚能够适配。在这个配置下，令牌生成速度约为 7 - 9 t/s。”有人好奇不同的 CPU 世代对性能的影响，也有人探讨内存速度和带宽对运行效果的作用。

有用户提到，对于像 DeepSeek V3 这样在 CPU 上能达到 7t/s 的量化 670B 模型，速度十分惊人，虽然这是基于模型的特性，但仍然令人惊叹。

同时，也有人对能否将其上传至 huggingface 以及如何量化等技术问题进行了交流。

总之，这次关于 DeepSeek V3 在 llama.cpp 上运行的讨论，展现了大家对技术细节的深入探讨和对未来发展的期待。