原贴链接

2023年玩本地大语言模型玩得很开心，但之后大概停了一年左右。我有一个低端系统，16GB内存+6GB显存的GTX 1660 Ti。当时这个配置足以运行oobabooga（text - generation - webui），将层卸载到GPU上以运行未量化的7B模型、较小的GPTQ模型，并且我能以可用速度运行的最好的是q3到q5量化的GGML 13B模型。例如，我仍然安装着并且仍然可以运行Manticore - 13B - Chat - Pyg - Guanaco - GGML - q5_K_S。有人能给我一些关于现在我能运行的模型的快速提示吗？我想我目前已经了解到，对于量化模型，GGUF是目前比较受欢迎的。看起来oobabooga仍然存在，但也有其他几个不错的选择。我一直在研究groq中的模型，对gemma2 - 9b - it印象深刻，而且这个大小看起来很合适。有什么建议吗？

讨论总结

原帖作者在2023年玩本地LLMs，之后停了一年左右，现询问以自己的低配置电脑能运行哪些模型，评论者们从不同方面进行回应。有以幽默方式讲述人工智能领域科技人物的动作并给出模型量化建议的，有直接推荐应用如LMStudio的，有分享模型查找途径的，有评价2024 - 2025年LLMs发展情况的，还有详细总结2024年以来本地LLMs发展并针对原帖作者设备给出模型推荐的。

主要观点

  1. 👍 [针对原帖作者的低配置给出特定模型量化建议]
    • 支持理由：[原帖作者询问能运行的模型，基于作者电脑配置和对人工智能领域科技人物发布模型等情况的了解给出]
    • 反对声音：[无]
  2. 👍 [推荐LMStudio来下载最新模型并试用]
    • 正方观点：[为原帖作者提供了一个可以尝试获取模型的途径]
    • 反方观点：[无]
  3. 👍 [推荐查看bartowski的模型或者lmstudio - community的模型、ollama搜索]
    • 正方观点：[分享自己查找模型的途径，可能会有热门模型]
    • 反方观点：[无]
  4. 👍 [2024年在LLMs方面最令人兴奋，2025年开端很棒]
    • 正方观点：[表达自己对这两年LLMs发展的主观感受]
    • 反方观点：[无]
  5. 👍 [对2024年以来本地LLMs发展进行总结并针对原帖作者设备给出模型推荐]
    • 正方观点：[根据自己对LLMs发展的了解，结合原帖作者设备给出有用建议]
    • 反方观点：[无]

金句与有趣评论

  1. “😂 Zuck make Llama. No care. Zuck make Llama 2. Much care. Fine tune. Chaos. Fun.”
    • 亮点：[以幽默诙谐的方式讲述扎克伯格与Llama模型的情况]
  2. “🤔 Check out LMStudio — you can download the latest models in - app and give them a go.”
    • 亮点：[简洁地给出了一个解决原帖作者问题的建议]
  3. “👀 Half the time I check bartowski’s models or [lmstudio - community](https://huggingface.co/lmstudio - community) (often the same thing) even if I’m not running lmstudio just because they seem to be a net for popular models.”
    • 亮点：[分享自己查找模型的特殊途径]
  4. “💡 Llama 2 7B, 13B, and 70B come out, are extremely good compared to llama 1”
    • 亮点：[总结Llama系列不同版本的情况]
  5. “😎 For your setup, not many people use Oobabooga anymore, KoboldCPP is better and has more features”
    • 亮点：[针对原帖作者设备给出更好的模型运行选择]

情感分析

[总体情感倾向积极，评论者们大多积极分享自己的知识和经验，没有明显的分歧点。可能的原因是原帖是寻求帮助和信息，大家都在积极回应，没有涉及到有争议性的话题]

趋势与预测

  • 新兴话题：[随着LLMs的不断发展，不同格式文件如GGUF和EXL2在模型运行中的应用可能会成为后续讨论的话题]
  • 潜在影响：[对于那些想要尝试本地LLMs的用户，能让他们更好地选择适合自己设备的模型，推动本地LLMs的进一步发展]

详细内容：

《2025 年本地 LLMs 领域的新动态与讨论热潮》

在 Reddit 上，一篇题为“Quick refresher here in 2025 for a guy who took 2024 off from local LLMs?”的帖子引发了广泛关注。该帖子获得了众多点赞和评论，主要讲述了一位在 2023 年热衷于本地 LLMs 但 2024 年暂停的用户，其配置为 16GB RAM + 6GB vRAM GTX 1660 Ti，询问如今有哪些模型可以在他的设备上运行。这也引发了关于当前各种 LLMs 模型发展状况的热烈讨论。

讨论的焦点主要集中在以下几个方面。有人详细梳理了各科技公司和人物在 LLMs 领域的动作和成果，比如“Zuck 推出了 Llama 系列，从 Llama 1 到 Llama 3，不断进步；Sundar 推出了 Gemma 系列；Koo 推出了 ExaOne 等”。还有用户分享道：“TheBloke 似乎已经退休，但 Bartowski 接过了接力棒。”

有用户提供了很多实用的建议和信息，例如有用户提到：“可以查看 LMStudio，能在应用内下载最新模型尝试。”也有人说：“Half the time I check bartowski’s models 或 lmstudio-community ，它们常常是热门模型的聚集地。”

同时，也有用户发表见解：“2024 年是 LLMs 领域迄今为止最激动人心的一年，2025 年也有了惊人的开端。”还有用户像 ArsNeph 一样详细列举了各种模型的发布和特点，包括“Llama 2 7B、13B 和 70B 与 Llama 1 相比表现出色；Mistral 7B 取代 Llama 2 7B 开启了新的微调时代；Miqu 取代 Llama 2 70B 等等。”

在讨论中，大家对于各模型的性能、适用场景和发展趋势存在不同的看法。有人认为某些模型在特定方面表现卓越，有人则更倾向于其他模型。但对于 LLMs 领域的快速发展和创新，大家普遍感到兴奋和期待。

总之，这次关于本地 LLMs 的讨论充分展示了这个领域的活力与变化，也为关注此领域的人们提供了丰富的信息和思考方向。