原贴链接

我暂时远离了那些炒作的基准测试,主要是因为TheBloke在那段时间停止了上传。我在LocalLLAMA错过了什么?llamacpp仍然好吗?基准测试仍然是炒作的垃圾吗?现在最好的开源模型是什么?我们仍然偏爱更大的模型吗?

讨论总结

本次讨论围绕LocalLLAMA领域的最新进展展开,涵盖了模型更新、量化技术、最佳开源模型推荐及用户体验等多个方面。讨论中,用户们分享了他们对llamacpp、Llama 3.1、Mistral等模型的看法,并推荐了一些优秀的开源模型。情感倾向整体积极,讨论热度较高,用户们对新模型的发布和技术的进步表现出浓厚的兴趣。

主要观点

  1. 👍 llamacpp仍然非常出色
    • 支持理由:llamacpp在RP(角色扮演)方面有一个名为koboldcpp的分支,表现优异。
    • 反对声音:无明显反对声音。
  2. 🔥 Llama 3.1 405B是目前最好的开源模型
    • 正方观点:Llama 3.1 405B在性能和功能上表现出色,被广泛推荐。
    • 反方观点:Mistral Large 2 123B也被认为非常接近,性价比高。
  3. 💡 多模态模型在可靠性上超越了Llava
    • 解释:如Qwen2-VL, Florence2, Phi3.5-V等多模态模型在图像相关问题上表现更佳。
  4. 🚀 OpenAI的竞争优势显著缩小
    • 解释:小型模型(<12b)已经达到ChatGPT 3.5的水平,大型模型如Command R+、Llama 3 70b、Mistral Large 123b达到GPT4的水平。
  5. 🌟 LM Studio仍然拥有最佳的用户体验
    • 解释:LM Studio在用户体验方面表现出色,被推荐为TheBloke的替代品。

金句与有趣评论

  1. “😂 We achieved AGI and all of us are out of job /s”
    • 亮点:以幽默的方式表达了AI领域的快速发展和潜在影响。
  2. “🤔 You are like a walking time capsule now 😜 reading your post brought back memories that seem so distant now.”
    • 亮点:怀旧的情感表达,反映了技术的快速变化。
  3. “👀 Llamacpp is still awesome, for RP you can use it’s fork called koboldcpp
    • 亮点:具体的技术推荐,帮助用户更好地理解和使用工具。
  4. “🌐 OpenAI’s moat has shrunk considerably, we have small models (<12b) that are chatGPT 3.5 tier.”
    • 亮点:指出了OpenAI竞争优势的缩小,强调了小型模型的进步。
  5. “🔍 LM Studio 仍然拥有最佳的用户体验。”
    • 亮点:强调了用户体验在模型选择中的重要性。

情感分析

讨论的总体情感倾向积极,用户们对新模型的发布和技术进步表现出浓厚的兴趣和认可。主要分歧点在于最佳开源模型的选择,如Llama 3.1 405B与Mistral Large 2 123B的比较。可能的原因是用户对性能和性价比的不同偏好。

趋势与预测

  • 新兴话题:多模态模型的进一步发展和应用,尤其是在图像相关问题上的表现。
  • 潜在影响:随着开源模型的不断进步,可能会进一步缩小与商业模型的差距,推动AI技术的普及和应用。

详细内容:

标题:6 个月后,本地模型领域发生了哪些变化?

在 Reddit 上,有这样一个热门帖子引起了大家的广泛讨论:“6 months out of date, what has changed?”。这个帖子获得了众多关注,点赞数和评论数众多,引发了关于本地模型领域发展的热烈探讨。

帖子主要询问了在其暂别期间,本地模型领域的变化,比如 llama.cpp 是否依然出色,当下最好的开源模型是什么,以及是否仍然倾向于更大的模型等。

讨论的焦点观点众多。有人认为 llama.cpp 仍然很棒,比如可以使用其分支 koboldcpp。P40 依旧称霸,Llama3.1 已推出,具有 8B、70B、405B 等多种规格和 128k 上下文。有人指出,目前 llama3.1 405B 或其微调版本是最好的开源大语言模型。现在还能将缓存(上下文)从 f16 量化到 8 或 4 位,减少处理上下文所需的内存量。有用户提到,TheBloke 的位置被他人取代,比如This guy。基准测试仍在进行,也出现过“Reflection 70B”这样的事故。Mistral 依然受欢迎,很多人使用其 12B 和 123B 模型的微调版本。

有人提到,一些新的模型如 Command-R 和 Command-R+,虽然有新版本推出,但可能不如旧版。Gemma 2、Phi 3.5、Quwen 2、Deepseek V2.5 等也是不错的模型。对于 GPU 性能较弱的情况,也有相应的模型推荐。

对于新的 Command-R 模型,有人尝试后认为不如原版,也有人认为其多语言能力接近 GPT-4o。在苹果的 M3/M2 上运行这些模型的效果也有讨论,有人认为运行良好,虽然共享内存可能较慢。

讨论中也存在一些共识,比如大家普遍认为当前模型的发展态势良好,不断有新的出色模型出现。

特别有见地的观点如,有人详细列举了各种不同规模和特点的优秀模型,为大家提供了丰富的参考。

总之,这一讨论充分展示了本地模型领域的快速发展和多样变化,让关注此领域的人们能更好地了解最新动态。