原贴链接

我构建了一个名为Apollo的模型，它是基于Qwen使用mergekit构建的混合推理器。这是一个为了回答我心中的一个问题而进行的实验，即我们是否能构建一个可以更快回答简单问题，并花些时间思考来回答复杂问题的大语言模型（LLM）。我附上了评估数据，你可以在附带的仓库中找到gguf文件，我建议这里的人们尝试这个模型并告诉我你们的反馈。仓库：[https://huggingface.co/rootxhacker/Apollo - v3 - 32B](https://huggingface.co/rootxhacker/Apollo - v3 - 32B)；gguf：[https://huggingface.co/mradermacher/Apollo - v3 - 32B - GGUF](https://huggingface.co/mradermacher/Apollo - v3 - 32B - GGUF)；博客：[https://medium.com/@harishhacker3010/making - opensource - hybrid - reasoner - llm - to - build - better - rags - 4364418ef7c4](https://medium.com/@harishhacker3010/making - opensource - hybrid - reasoner - llm - to - build - better - rags - 4364418ef7c4)。我发现这个模型对于构建RAG（检索增强生成）很有用，我也将其用于RAG。如果这里有人发现它有用并针对基准进行了评估，请一定要分享给我，我会在文章中注明你的工作并加入其中。https://llminfo.image.fangd123.cn/images/yenfdompynpe1.png!/format/webp

讨论总结

原帖作者构建了名为Apollo的开源混合推理LLM模型，分享了模型的相关资源，并欢迎大家试用反馈。评论者的讨论围绕多个方面展开，包括对模型构建的惊叹、自己构建相关模型的经历、对模型基准测试工具的询问与分享、对模型推理机制的疑问、对模型应用的意向，也有一些质疑调侃甚至包含不适当内容，但总体讨论氛围较为积极且聚焦于模型相关技术话题。

主要观点

  1. 👍 对原帖构建的Apollo模型表示惊叹
    • 支持理由：模型的构建成果值得称赞
    • 反对声音：无
  2. 🤔 表明自己也在构建相关模型且耗时两周
    • 正方观点：分享自身构建相关模型的经历
    • 反方观点：无
  3. 🤓 询问原帖模型的基准测试工具
    • 支持理由：想了解模型的测试情况
    • 反方观点：无
  4. 🔥 提到使用Lighteval进行基准测试并提交模型到OpenLLM排行榜
    • 正方观点：分享模型测试相关信息
    • 反方观点：无
  5. 😕 确认OpenLLM排行榜已关闭
    • 支持理由：提供客观事实
    • 反方观点：无

金句与有趣评论

  1. “😂 ____vladrad: Wow amazing. Mines been cooking for two weeks now. What do you use to benchmark?”
    • 亮点：表达惊叹并分享自身情况
  2. “🤔 在博客文章中你写道，用户需要选择模型是否应该给出直接答案或开始思考/推理。用户如何提前确定快速简单的答案是否正确？”
    • 亮点：对模型的用户选择机制提出关键疑问
  3. “👀 Ska82: is that repo link supposed to be a github repo? it seems to link to the safetensor version of the model”
    • 亮点：对原帖中的资源链接提出疑问

情感分析

总体情感倾向是积极的，多数评论者对原帖构建的模型表示惊叹或积极探讨相关技术问题。主要分歧点在于模型的基准测试方式以及推理机制，可能是因为不同的人对模型构建和评估的理解与关注点不同。

趋势与预测

  • 新兴话题：尝试其他私人基准测试工具以及如何在不同模式下正确对模型进行基准测试。
  • 潜在影响：可能对开源LLM模型的构建、评估和应用产生推动作用，促使更多人关注模型的推理机制和基准测试等相关话题。

详细内容：

标题：开发者打造开源混合推理 LLM 引发 Reddit 热议

在 Reddit 上，有一篇关于打造开源混合推理语言模型（LLM）的帖子引起了众多关注。原帖作者称其打造了名为 Apollo 的模型，这是基于 Qwen 利用 mergekit 构建的混合推理器，旨在探索能否构建一个能快速回答简单问题并对复杂问题进行思考后作答的 LLM 模型。作者还附上了评估数据，并提供了模型的相关链接，包括 repo 链接https://huggingface.co/rootxhacker/Apollo-v3-32B 、gguf 链接https://huggingface.co/mradermacher/Apollo-v3-32B-GGUF 以及博客链接https://medium.com/@harishhacker3010/making-opensource-hybrid-reasoner-llm-to-build-better-rags-4364418ef7c4 。此帖获得了不少点赞和众多评论，主要的讨论方向集中在模型的性能评估、基准测试以及实际应用等方面。

文章将要探讨的核心问题包括：如何进行有效的基准测试？模型在实际应用中的表现如何？

在讨论中，有人称赞模型令人惊叹，并询问用于基准测试的工具。有人使用 Lighteval 进行基准测试，并将模型提交到 OpenLLM 排行榜进行评估，但该排行榜已关闭。还有人建议尝试其他私人基准测试工具。

有用户在博客文章中提到用户需选择模型是直接给出答案还是开始思考/推理，并质疑用户如何提前确定快速简单答案的正确性，以及如何正确对模型进行基准测试。对此，原作者表示用户可根据问题的复杂程度选择模式。

有人指出 repo 链接并非 github 链接。还有人表示希望将该模型应用到[https://github.com/SciPhi-AI/R2R] 。

总体而言，这次讨论呈现出了对该开源混合推理 LLM 模型的浓厚兴趣和深入思考，不同观点的交流也为模型的进一步发展和应用提供了有价值的参考。