原贴链接

我正在设置一些本地LLM实例。这些机器配备了一些较旧的nVidia显卡，具有8GB VRAM（例如1070）。

有哪些推荐的模型可以在该空间内使用？目前正在探索mistral/mixtral、phi3、gemma2、llama3。主要是在~7B、Q_4变体中。

讨论总结

本次讨论主要围绕在8GB VRAM的旧款NVIDIA显卡上运行本地大型语言模型（LLM）进行代码辅助的问题。参与者推荐了多种模型，如Nxcode-CQ-7B-orpo、CodeQwen1.5-7B-Chat、DeepSeek-Coder-V2-Lite-Instruct等，并讨论了在有限资源下如何最大化LLM性能。此外，也有提到使用在线服务如Google AI Studio或ChatGPT作为替代方案，以及推荐了一些开源工具和平台来帮助选择和优化模型。

主要观点

  1. 👍 推荐使用Nxcode-CQ-7B-orpo模型
    • 支持理由：适合在8GB VRAM的显卡上运行，性能良好。
    • 反对声音：无明显反对声音。
  2. 🔥 推荐使用CodeQwen1.5-7B-Chat模型
    • 正方观点：在8GB VRAM的显卡上表现优异。
    • 反方观点：无明显反对声音。
  3. 💡 推荐使用DeepSeek-Coder-V2-Lite-Instruct模型
    • 解释：虽然并非所有层都卸载到GPU，但模型的运行速度足够快。
  4. 🚀 推荐使用Programmable Prompt Engine CLI工具
    • 解释：可以帮助最大化小型和中型LLM的潜力。
  5. 🌟 推荐使用Neurochain平台进行Mistral/Llama模型的推理构建
    • 解释：提供免费推理服务以帮助开发者开始项目。

金句与有趣评论

  1. “😂 If you want to squeeze out the maximum potential of small and medium-sized LLM, you might as well try this: Programmable Prompt Engine CLI”
    • 亮点：强调了在有限资源下最大化LLM性能的重要性。
  2. “🤔 I run Deepseek Coder V2 Lite Instruct Q6_K there and it’s pretty good.”
    • 亮点：分享了在8GB VRAM显卡上运行特定模型的实际经验。
  3. “👀 codegeex4-all-9b is the best model for coding in that range in my experience.”
    • 亮点：推荐了一个在8GB VRAM范围内表现优异的编程模型。

情感分析

讨论的总体情感倾向积极，主要集中在推荐和讨论适合8GB VRAM显卡的LLM模型。虽然有提到资源限制和性能问题，但大多数评论者提供了实际的解决方案和推荐，显示出对技术挑战的积极应对态度。

趋势与预测

  • 新兴话题：开源工具和平台的使用可能会成为未来讨论的热点。
  • 潜在影响：随着技术的发展，更多适合有限资源的高性能LLM模型可能会被开发和推荐。

详细内容：

在 8GB 显卡上使用的最佳 LLM 模型引发热议

在 Reddit 上，一则关于“Best LLM for use on an 8GB card (primarily code help)?”的帖子引发了众多关注。该帖获得了较高的热度，评论众多。帖子中，发帖者表示正在设置一些本地 LLM 实例，机器配备的是具有 8GB VRAM 的较旧 NVIDIA 显卡（如 1070），询问在这种条件下有哪些推荐的模型可用，目前正在探索 mistral/mixtral、phi3、gemma2、llama3 等，大多是约 7B、Q_4 变体。

讨论焦点与观点分析： 有人推荐了Nxcode-CQ-7B-orpo、CodeQwen1.5-7B-Chat、DeepSeek-Coder-V2-Lite-Instruct 16B MoE、Gemma-2-9B-It等模型，并提到若想充分挖掘中小型 LLM 的潜力，可以尝试Programmable Prompt Engine CLI。 有用户表示将其与某些技术结合，链接为 - https://www.reddit.com/r/LocalLLaMA/comments/1f5g54a/introducing_nyuntam_a_new_opensource_toolkit_for/ 。 有人实验了 KTransfomers，在 3060ti 上使用 DeepSeek Coder V2 Lite Instruct Q8_0 时能达到约 30 t/s 。并提供了链接https://github.com/kvcache-ai/ktransformers 。 一位用户称在工作中使用类似 GPU 运行 Deepseek Coder V2 Lite Instruct Q6_K 效果不错。 有人提到在该级别，模型可能不会太出色，建议使用谷歌 AI 工作室，因其有几乎无限的免费令牌。但也有人回应说需要能 100%离线运行。 还有用户推荐了 glm-4-9b-chat-1m ，链接为https://www.reddit.com/r/LocalLLaMA/comments/1d8m7tw/glm4_9b_base_chat_1m_variant_vision_language_model/ 。 有人认为 codegeex4-all-9b 是该范围内用于编码的最佳模型。 也有人认为从所提到的模型来看，每个都有其优势。比如 Mistral/Mixtral 设计灵活，能处理多种任务；Phi3 在性能和 VRAM 消耗上平衡较好；Gemma2 利于生成代码文档或注释；Llama3 可在 8GB VRAM 限制内提供有效的代码相关协助。

讨论中的共识在于大家都在努力为 8GB 显卡寻找适合的 LLM 模型以满足编码帮助的需求。不同的观点主要在于对各个推荐模型的侧重点和适用场景的看法有所不同。一些用户更注重性能，一些用户更关注模型在特定任务中的表现。