原贴链接

救命！我不需要用我的大型语言模型（LLM）进行角色扮演或者让它给我写故事，我希望它成为一种能‘理解’我奇怪问题并给出最佳事实性答案的资源。例如‘福特T型车车身使用的哪些金属加工技术在现代汽车上仍在使用’或者‘装饰艺术风格的建筑在20世纪20年代很流行，请说出1870 - 1920年间在美国或欧洲出现的3种类似风格的设计流派’这类问题。实际上我经常使用人工智能，但我仍然不知道如何特意找到我所说的这种好的大型语言模型（LLM）。谢谢！

讨论总结

帖子的主题是寻找适合事实查找/关联而非创意写作且小于约35B的模型。评论者们积极响应，推荐了如Gemma 2、Qwen2.5:32b Q4等模型，还给出了一些解决方案，如使用较小LLM并让其搜索事实辅助回答、查看Open LLM排行榜和MMLU Pro分数等，整体氛围和谐且富有建设性。

主要观点

  1. 👍 推荐Gemma 2模型用于回答事实性问题。
    • 支持理由：在大部分情况下，微调不能提升通用知识，此模型可满足需求。
    • 反对声音：无
  2. 🔥 较小LLM知识量少，应让其搜索事实辅助回答。
    • 正方观点：较小模型知识量有限，通过搜索事实可更好回答问题。
    • 反方观点：对“让其搜索事实”是否指RAG设置存疑。
  3. 💡 推荐Qwen2.5:32b Q4模型用于事实查询。
    • 支持理由：还详细阐述了与汽车制造相关的事实性知识展示其适合性。
    • 反对声音：无
  4. 🤔 认为原帖需求适合使用Perplexity或其API。
    • 支持理由：符合信息检索（RAG）需求。
    • 反对声音：无
  5. 😎 针对事实查找/关联需求可查看特定指标（Open LLM排行榜和MMLU Pro分数）。
    • 支持理由：在离线优先的情况下可用于判断模型是否合适。
    • 反对声音：无

金句与有趣评论

  1. “😂 JohnnyDaMitch：Have you tried Gemma 2?”
    • 亮点：直接推荐模型，简洁明了。
  2. “🤔 metigue：Smaller models have less knowledge so you would probably be better off using a smaller LLM and letting it make searches to find the facts you’re asking about to support the answer.”
    • 亮点：提出了不同的解决思路。
  3. “👀 DrivewayGrappler: Qwen2.5:32b Q4”
    • 亮点：直接推荐了适合事实查询的模型。
  4. “😉 ttkciar：Big - Tiger - Gemma - 27B has been quite excellent for RAG.”
    • 亮点：肯定了Gemma 2模型在检索增强生成（RAG）方面的表现。
  5. “🤓 对于离线优先的用例，专门查看Open LLM排行榜和MMLU Pro分数。”
    • 亮点：提供了在离线场景下的模型选择参考。

情感分析

[总体情感倾向为积极，大家都在积极为原帖作者出谋划策，没有明显分歧点，可能的原因是这是一个技术类话题，大家都在分享知识和经验]

趋势与预测

  • 新兴话题：[不同推荐模型在特定事实查询领域的更深入对比]
  • 潜在影响：[帮助更多人选择适合事实查询的LLM模型，提高工作效率等]

详细内容：

《寻找最佳的事实查询和关联小型语言模型》

近日，Reddit 上有一个热门帖子引起了大家的关注，帖子标题为“What models (less than ~35B) are best for fact lookup/correlation NOT creative writing?” ，获得了众多的浏览和讨论。帖主表示不需要语言模型进行角色扮演或创作故事，而是希望它能理解奇怪的问题并给出最佳的事实性答案，例如“Model T 车身使用的哪些金属加工技术在现代汽车中仍在使用”等问题。目前帖主虽然经常使用 AI，但不知道如何找到符合需求的语言模型。

讨论焦点主要集中在各种语言模型的推荐和使用经验分享上。有人推荐了 Gemma 2，并表示通常微调并不能带来更好的通用知识。有人提到小型模型知识量较少，或许使用小型语言模型并让其进行搜索来查找事实会更好。还有人介绍 Open-WebUI 具有网络搜索功能，虽然不是特别出色但能用。

有用户分享道：“我基本上给它一堆 SearX 结果，让它决定要抓取什么，然后把那些网页放进去，一次一个。” 并且提到这是 llama 3.2 3B 读取页面并做总结。

也有用户详细阐述了 Model T 所运用的一些金属加工技术在当代的应用情况，如“冲压”“焊接”“铆接”“装配线技术”等，这些技术不断改进和发展，在现代汽车制造中仍发挥着关键作用。

对于如何选择适合的语言模型，大家存在不同的看法。有人认为某些模型性能出色，而有人则对其速度和效果提出了质疑。同时，关于一些模型的获取和使用方式也存在一些疑问和讨论。

在这场讨论中，大家的共识在于都在努力寻找能够满足事实查询和关联需求的语言模型。特别有见地的观点是对不同模型特点的详细分析以及实际应用中的经验分享，这些都丰富了讨论内容。

究竟哪种语言模型能够更好地满足帖主的需求，还需要进一步的探索和实践。