原贴链接

你好。我正在寻求关于最佳低配置大语言模型的建议或者基准测试。我所定义的低配置是指能够在移动设备或者低配置笔记本电脑（集成显卡+8/12GB内存）上本地运行的任何大语言模型。至于任务方面，主要是文本转换或者关于文本的提问。不需要翻译，输入和输出都将是英语。

讨论总结

原帖寻求在低配置设备（如移动设备或低配置笔记本电脑）上运行的最佳低规格大型语言模型（LLMs）的建议或基准，主要用于文本转换或文本相关问题（输入输出为英语）。评论者们积极回应，推荐了众多低规格LLMs，如Gemma 2 9b q4、Llama3.1 8b q4等，还提到了模型在处理不同任务时的表现、存在的问题，以及针对隐藏敏感信息的处理工具推荐等内容，整体讨论氛围较为积极，专注于分享有用信息。

主要观点

  1. 👍 推荐网址https://huggingface.co/spaces/k - mktr/gpu - poor - llm - arena用于寻找小LLMs
    • 支持理由：虽排名误差范围大但有助于寻找值得尝试的小模型
    • 反对声音：无
  2. 🔥 推荐Gemma 2 9b q4、Llama3.1 8b q4、Qwen2.5 7B q4、Mistral 7B v3 q4为低规格设备可运行的LLMs
    • 正方观点：直接提供可在低规格设备运行的模型列表
    • 反方观点：无
  3. 💡 不太清楚专门用于隐藏敏感信息的微调模型，但多数3b及更大的模型至少能检测
    • 解释：虽然不能明确专门模型，但指出了较大模型在检测敏感信息方面的能力
  4. 💡 phi - 4在文本处理、摘要和意义提取方面能力强
    • 解释：评论者根据自身使用经验得出该结论
  5. 💡 Cohere R7B是资源利用高效的低规格LLM，适合多语言需求，但许可证较差
    • 解释：推荐其在多语言方面的优势，同时指出许可证存在问题

金句与有趣评论

  1. “😂 Small - Fall - 6500：If this arena had more people using it, it would be a decent leaderboard for small LLMs.”
    • 亮点：指出网址如果有更多人使用会成为不错的小LLMs排行榜
  2. “🤔 Amgadoz：https://github.com/microsoft/presidio”
    • 亮点：针对移除敏感信息的需求给出一个工具
  3. “👀 uti24：It’s lagging so much, for such a small models.”
    • 亮点：指出小模型存在滞后性的问题
  4. “😎 I have fantastic experience with phi - 4, it’s 14B model, so you can take quant that fits your system best.”
    • 亮点：分享phi - 4模型使用体验并提到可选择适合系统的量化版本
  5. “👍 最佳的资源高效LLM是Cohere R7B，尤其是如果你关心多语言的话。”
    • 亮点：推荐Cohere R7B在多语言方面的优势

情感分析

总体情感倾向为积极正面。主要分歧点在于Cohere R7B的许可证问题，但大家都比较理性对待，认为对大多数人影响不大。原因是大家都专注于分享与低规格LLMs相关的有用信息，对于个别模型的小问题持包容态度。

趋势与预测

  • 新兴话题：可能会进一步探讨低规格LLMs在特定领域（如代码处理、多语言处理等）更深入的性能表现。
  • 潜在影响：有助于低配置设备用户在选择LLMs时更有针对性，也可能促使模型开发者进一步优化低规格LLMs的性能和相关问题（如滞后性、许可证等）。

详细内容：

《探寻适用于低配置设备的最佳LLMs》

在Reddit上，一则题为“ What are the current best low spec LLMs”的帖子引发了众多关注。该帖子的作者表示正在寻找关于能够在移动设备或低配置笔记本电脑（集成 GPU 和 8/12GB 内存）上本地运行的最佳低规格 LLMs 的建议或基准，任务主要集中在文本转换或关于文本的问题，输入和输出均为英语。此帖获得了大量的点赞和众多评论。

讨论的焦点主要集中在以下几个方面： 有人指出，如果这个领域有更多人参与，像 https://huggingface.co/spaces/k-mktr/gpu-poor-llm-arena 这样的地方会成为小型 LLMs 的不错排行榜，但目前排名存在较高的误差。 有人分享称自己在工作中经常处理相关问题，并询问具体想要去除什么样的敏感信息，比如姓名、电子邮件、日期、地点、组织等。 有人提到了一些模型，如 Gemma 2 9b q4、Llama3.1 8b q4、Qwen2.5 7B q4、Mistral 7B v3 q4 等，并对它们的性能进行了讨论。

有人分享了自己使用 phi-4 的奇妙经历，称在具有集成 GPU 和统一内存的迷你 PC 上运行效果很好。 有人表示自己使用 SmallThinker 3B 处理代码相关问题效果不错。

关于哪个是资源效率最佳的 LLM，有人认为是 Cohere R7B，尤其是在多语言方面表现出色，不过也有人指出其许可证存在一些问题。

总体而言，大家对于低规格 LLMs 的探讨十分热烈，各自分享着不同的经验和见解，为寻找适合低配置设备的最佳模型提供了丰富的参考。但对于具体哪个模型最优，仍未形成完全统一的意见。