原贴链接

希望我们能很快得到更好的显卡。但在此之前，我们已经从huggingface收集并量化了30-50个GGUF模型，以便在低预算显卡上使用llama.cpp及其衍生产品。

讨论总结

本次讨论围绕在低预算显卡上使用量化后的 GGUF 大型语言模型展开，主要关注模型的兼容性、VRAM 优化和推理速度。评论者们讨论了不同量化模型在低 VRAM 显卡上的表现，提出了针对 3GiB VRAM 优化的建议，并分享了在前端应用中的兼容性问题。此外，讨论还涉及了 CPU 和 GPU 在推理速度上的差异，以及模型选择对上下文窗口的影响。总体而言，讨论技术性强，提供了实用的优化建议和资源链接。

主要观点

  1. 👍 收集的 GGUF 模型大多是 IQ4 量化的，不适合所有低预算显卡。
    • 支持理由：这些模型在某些显卡上无法运行，需要进一步优化。
    • 反对声音：无明显反对声音，但有建议针对 3GiB VRAM 进行优化。
  2. 🔥 Stheno 模型（4.5Gb）无法在 4GiB VRAM 的显卡上运行。
    • 正方观点：需要针对 3GiB VRAM 进行优化，以留出更多空间给上下文。
    • 反方观点：无明显反方观点，但有建议尝试 Koboldcpp 或 text gen webui。
  3. 💡 建议针对 3GiB VRAM 进行优化，以留出更多空间给上下文。
    • 解释：这样可以提高模型的运行效率和上下文处理能力。
  4. 💡 需要提供如何设置 koboldcpp 的详细说明，以充分利用 VRAM。
    • 解释：详细的设置说明可以帮助用户更好地利用有限的 VRAM。
  5. 💡 现有的资源链接中，有些模型在前端（如 Jan 或 LM Studio）中不兼容。
    • 解释：这导致了用户在使用这些前端时的困扰，需要进一步测试和优化。

金句与有趣评论

  1. “😂 schlammsuhler：It would make more sense to target 3Gb specifically to let some room for context.”
    • 亮点：提出了针对 3GiB VRAM 优化的具体建议，实用性强。
  2. “🤔 mintybadgerme：I keep finding a lot of them don’t work with standalone front ends like Jan or LM Studio. It’s frustrating.”
    • 亮点：反映了前端兼容性问题，引起了广泛共鸣。
  3. “👀 Stepfunction：You might want to try Koboldcpp or text gen webui. They tend to both be fairly up to date with llama.cpp and maximize compatibility.”
    • 亮点：提供了实用的解决方案，帮助用户解决兼容性问题。
  4. “😂 Healthy-Nebula-3603：15 t/s …. I think with cpu only you get more …with 2b gemma 2 Q8 I have 22 t/s on cpu only”
    • 亮点：对比了 CPU 和 GPU 的推理速度，提供了实际数据支持。
  5. “🤔 Healthy-Nebula-3603：with gpu almost 200 t/s :)”
    • 亮点：展示了 GPU 在推理速度上的优势，增加了讨论的技术深度。

情感分析

讨论的总体情感倾向偏向实用和技术性，评论者们积极讨论了模型优化、兼容性和推理速度等问题。主要分歧点在于模型选择和 VRAM 优化，部分评论者认为现有的模型不适合所有低预算显卡，建议进一步优化。总体氛围较为积极，评论者们提供了实用的建议和资源链接。

趋势与预测

  • 新兴话题：针对 3GiB VRAM 的模型优化和前端兼容性问题可能会引发更多讨论。
  • 潜在影响：优化后的模型和详细的设置说明将有助于更多用户在低预算显卡上使用大型语言模型，推动相关技术的发展。

详细内容：

标题：低预算 4GiB VRAM 可用的 GGUF 大型语言模型

在 Reddit 上，一则关于为低预算视频卡收集和量化 GGUF 模型的帖子引发了热烈讨论。该帖子提到，在期待更好的视频卡到来之前，已在 huggingface 上努力收集并量化了 30 - 50 个 GGUF 模型用于 llama.cpp 及其衍生品，还附上了相关链接：https://huggingface.co/hellork 。此帖获得了众多关注，评论数众多，大家主要围绕模型的适配性、性能以及使用方法等展开了讨论。

讨论焦点与观点分析： 有人认为这是个好主意，但看起来像是对 IQ4 量化的随意积累，不管参数大小。比如 Stheno 是 4.5Gb 就不适用，认为专门针对 3Gb 设定会更合理，还应添加如何设置 koboldcpp 以充分利用 VRAM 的说明。 有人称赞这像是有志愿者英雄在行动。 还有人提供了更多相关的链接：[https://huggingface.co/bartowski] 、[https://huggingface.co/mradermacher] 、[https://huggingface.co/LoneStriker] 。 有人表示自己不断发现很多模型无法与独立前端如 Jan 或 LM Studio 配合使用，感觉很沮丧，而且很难找到适合本地使用的好的视觉模型。但也有人称自己从未遇到过 llama.cpp 前端无法加载这些模型的问题。 有人分享自己下载 GGUF 后发现无法使用的经历，觉得肯定是自己哪里操作有误。 有人指出，如果是 4GB VRAM 的显卡已经非常过时，即便是英伟达的也无法运行 CUDA 实现，在 CPU 上运行可能会更快。但也有人表示自己的 1050 ti 4GB 能很好地运行 CUBLAS，Gemma 2B Q8 每秒推理约 15 次。还有人认为仅在 CPU 上每秒能达到 22 次。 有人提出为什么选择 IQ4_NL，在 8B 时，IQ4_XS 小 5%左右，困惑度差异为 +0.1 - 0.2%，虽然不是大问题，但能给用户多几百个令牌的上下文窗口来使用。

总的来说，大家在讨论中对于这些低预算显卡可用的模型存在不同看法和实际使用体验，对于如何优化模型的适配性和性能有着热烈的交流和探讨。