原贴链接

大家好！我刚涉足这个领域，这是我在这里的第一篇帖子，请大家手下留情😅。对于新手来说，7B、14B、32B这些参数意味着模型中可训练权重的数量，它决定了模型能学习和处理多少数据。大模型能捕捉更复杂的模式，但需要更多的计算、内存和数据，小模型则更快、更高效。运行本地模型的话，如果有条件最好使用显存尽可能大的GPU，有NPU的笔记本电脑也不错，如果没有GPU就使用7B及以下的小模型。运行本地模型有很多网上教程，我个人喜欢使用LMStudio，它界面不错，我也用Ollama。另外对于安卓系统，Smolchat和Pocketpal是从Huggingface下载模型的不错应用。然后还给出了不同设备类型（智能手机、x86笔记本电脑、ARM设备、GPU计算机）在不同显存/内存、推荐位精度下能运行的最大LLM参数近似值等表格内容。这篇帖子的目的是找到并持续更新大多数人能实际使用的最佳新模型。作者列出了不同任务（如MMLU - Pro、数学、编码、创意写作、长查询、医疗保健/医学、商业、经济学等）下自认为最佳的模型及其分数等内容，并且表示自己不太确定基准测试所以参考了网络来源。

讨论总结

原帖作者对7B - 32B参数的LLMs在多种任务下的最佳模型进行推荐，并给出运行这些模型的硬件要求及适配情况。评论者们反应不一，有初学者认为原帖内容很有帮助，也有人认可原帖工作并给出补充建议，还有人对原帖推荐模型的合理性提出质疑，另外在硬件需求方面存在争议，如是否应将高端GPU作为运行模型的起点等，同时也涉及云服务和本地模型的比较等话题。

主要观点

  1. 👍 原帖内容对初学者有很大帮助
    • 支持理由：将知识汇总，避免初学者试错。
    • 反对声音：无。
  2. 🔥 原帖推荐的模型可能不是最佳模型
    • 正方观点：特定基准源未测试所有最佳模型，存在遗漏。
    • 反方观点：原帖是多种来源汇总，有一定参考性。
  3. 💡 不应将高端GPU作为运行模型的必要起点
    • 支持理由：普通硬件能运行较大模型，应从初学者实际需求出发。
    • 反对声音：高端GPU运行速度更快，对一些用户是必要的。
  4. 👍 原帖工作值得肯定
    • 支持理由：整理汇总相关内容很有意义。
    • 反对声音：无。
  5. 💡 云服务对很多用户更实用，但本地模型也有优势
    • 支持理由：云服务性价比高且速度快，本地模型可保护数据隐私且无网络时可用。
    • 反对声音：无。

金句与有趣评论

  1. “😂 作为一个初学者，这非常有帮助。”
    • 亮点：直接体现原帖对初学者的价值。
  2. “🤔 I’d add an instruction following benchmark and perhaps a math benchmark to get a better sense of the right usecase.”
    • 亮点：提出建设性的补充建议。
  3. “👀 You’re discouraging a lot of people unnecessarily.”
    • 亮点：表达对推荐高端GPU作为起点的反对态度。
  4. “😂 Good work!”
    • 亮点：简洁表达对原帖的认可。
  5. “🤔 Isn’t it better to just pay 20 dollars a month and have the 03 - mini - high at your leisure and at full speed?”
    • 亮点：提出云服务的性价比优势。

情感分析

总体情感倾向是较为积极的，但存在部分质疑。主要分歧点在于原帖推荐模型的合理性以及运行模型的硬件起点要求。可能的原因是不同用户对LLMs的了解程度、使用需求和资源状况不同。

趋势与预测

  • 新兴话题：可能会有更多关于如何根据不同用户需求（如初学者、专业用户等）优化LLMs使用的讨论。
  • 潜在影响：对LLMs在不同设备、不同用户群体中的推广和应用产生影响，促使相关资源更好地适配各类需求。

详细内容：

标题：Reddit 上关于最佳 LLMs 的热门讨论

最近，Reddit 上一篇题为“Best LLMs!? (Focus: Best & 7B-32B) 02/21/2025”的帖子引起了广泛关注。这是作者的首篇帖子，旨在为新手梳理关于 LLMs 的相关知识。该帖获得了众多点赞和大量评论。

帖子主要围绕不同类型设备运行本地模型的相关内容展开，包括模型参数的含义、运行本地模型的所需条件、运行方式等，并提供了各类模型在不同领域的表现及相关推荐。

讨论的焦点主要集中在以下几个方面：

  • 对于新手而言，哪些模型和设备组合最为实用。有人分享自己通过试验和错误学到了很多，认为帖子将相关信息集中呈现很有帮助，并提到在安卓设备上，Smolchat 和 Pocketpal 能方便地从 Huggingface 下载模型。
  • 关于基准测试和数学基准的建议。有人认为应补充相关内容以更好地明确使用场景。
  • 在模型运行方面，有人指出对于创意写作可以参考特定链接。
  • 对于推荐模型的合理性存在争议。有人认为不应过分强调高端 GPU 是入门的必要条件，普通 PC 用户在已有硬件条件下也能运行较大模型，而作者认为从新手角度出发，应从较小模型开始，避免出现技术问题和不佳体验。

有人认为 8GB VRAM 和 32GB RAM 的 PC 用户完全可以运行量化（Q4）的 24B 模型。但作者表示，虽然能运行，但速度可能较慢，对于缺乏耐心的新手来说可能会放弃，还可能出现各种技术错误和资源占用问题。

也有人提到 16 位量化对于新手并非合适之选，6 位以下更适合入门。

还有人询问用于商业的数据集和基准，作者回复可参考帖中的相关来源链接。

此外，有人探讨了付费使用云服务与建立本地模型的优劣。

总之，这次讨论呈现了关于最佳 LLMs 选择和运行的多元观点和深入思考，为新手和感兴趣的用户提供了丰富的参考和启示。