原贴链接

嘿，首先感谢大家的错误报告和反馈——它们真的帮助我们提升了Jan的整体性能。

在过去几周里，我们一直在努力提高Jan的稳定性。随着0.5.4版本的发布，通过添加AVX/AVX2优化，CPU性能得到了提升。

旧版本的Jan仅支持AVX2，但现在我们添加了AVX和AVX512二进制文件，因此Jan可以根据您的处理器选择最有效的一个，尤其是在较新的CPU上。这一变化也意味着我们现在捆绑了更多的llamacpp二进制文件——这是对我们为该项目做出贡献后的一个圆满时刻。感谢开源！

因此，Jan现在提供了更快的AI推理速度。

请更新您的Jan版本或在此处下载最新版本：https://jan.ai/

以下是一个快速比较：

image

此外，还捆绑了CUDA二进制文件（11.7和12.0），以实现最佳GPU加速。因此，当启用GPU加速时，Jan默认使用这些文件以获得最大性能。

希望很快能以闪电般的速度推出新功能。

讨论总结

本次讨论主要围绕Jan在CPU性能上的显著提升展开，通过添加AVX/AVX2优化，Jan在新款CPU上的AI推理速度得到了大幅提升。讨论中涉及多个方面，包括开源软件的偏好、未来功能的期待、用户反馈的重要性、硬件兼容性、API和CLI的支持、移动版本的计划、互联网搜索功能的设想、偏见分析的建议、上下文窗口的优化、服务器运行环境的需求、模型存储和计算资源的管理等。总体氛围积极，用户对Jan的性能提升表示赞赏，并期待更多新功能和改进。

主要观点

  1. 👍 Jan的性能提升得到了用户的认可
    • 支持理由：通过AVX/AVX2优化，Jan在CPU上的性能显著提升，用户对此表示赞赏。
    • 反对声音：部分用户在性能优化后遇到本地模型停止工作的问题，表达不满。
  2. 🔥 用户希望有一个基于Jan的角色扮演应用
    • 正方观点：简化那些不想使用SillyTavern和独立后端的用户体验。
    • 反方观点：Hammer_AI推荐了自己的应用，但用户对其使用Ollama表示疑虑。
  3. 💡 emreckartal邀请用户在GitHub上分享反馈和功能请求
    • 解释：用户反馈和建议帮助Jan在稳定性和功能上有所改进，开发团队重视用户的意见。
  4. 🚀 未来将推出早期融合模型和改进的Jan引擎
    • 解释：开发团队专注于性能提升，未来将推出新功能，如早期融合模型和改进的Jan引擎。
  5. 🌐 用户希望Jan能够具备互联网搜索和结果摘要功能
    • 解释：类似于Perplexity的功能，用户建议Jan在搜索时能够指定搜索源，并通过分析文章的偏见来提供更准确的信息。

金句与有趣评论

  1. “😂 Awesome news, thank you!”
    • 亮点：用户对Jan的性能提升表示赞赏，表达了对开发团队的感谢。
  2. “🤔 I’d love to have something like a home equivalent of Perplexity.”
    • 亮点：用户对Jan未来功能的期待，特别是互联网搜索和结果摘要功能。
  3. “👀 Jan is open-source and fully extendable with plugins and extensions.”
    • 亮点：开发团队强调Jan的开源性质和可扩展性，吸引更多开发者参与。
  4. “🌟 BEST AI TOOL FOR LocalLLM you guys are f*cking gods! Thank you for your hard work!”
    • 亮点：用户对Jan的高度评价，表达了对开发团队的感激之情。
  5. “🔍 Is my use case currently possible at all?”
    • 亮点：用户提出具体的功能请求，希望为儿子定制指令以保护他对圣诞老人的信仰。

情感分析

讨论的总体情感倾向积极，用户对Jan的性能提升表示赞赏，并对未来功能充满期待。主要分歧点在于部分用户在性能优化后遇到本地模型停止工作的问题，表达不满。可能的原因包括技术兼容性问题和用户对新功能的期待与实际体验之间的差距。

趋势与预测

  • 新兴话题：互联网搜索和结果摘要功能可能成为未来讨论的热点，用户对此功能表现出高度兴趣。
  • 潜在影响：Jan的性能提升和未来功能的推出可能会吸引更多用户，特别是在开源社区和AI推理领域。

详细内容：

《Jan 在 CPU 上运行速度大幅提升，引发热议》

在 Reddit 上，一则关于“Jan 现在在 CPU 上运行得更快”的帖子引起了广泛关注。该帖子提到，在过去几周，开发者一直在努力提升 Jan 的稳定性。随着 0.5.4 版本的发布，通过添加 AVX/AVX2 优化，CPU 性能得到显著提高。不仅如此，还增加了 AVX 和 AVX512 二进制文件，让 Jan 能为用户的处理器选择最有效的方案，特别是在较新的 CPU 上，这使得 AI 推理速度更快。同时，还捆绑了更多 llamacpp 二进制文件。用户可以通过https://jan.ai/更新或下载最新版本。帖子中还附上了一张直观的性能对比图，展示了不同计算环境下运行 Llama 3.1 8B Q4 模型的前后差异。此贴获得了众多点赞和大量评论。

讨论的焦点主要集中在以下几个方面： 有人称赞这是个很棒的消息，也有人对 Jan 的新功能和发展方向提出了疑问和建议。 有用户提到自己对 Ollama 的看法，认为其存在一些使用上的不便，而更倾向于 Jan 的开源性质，方便根据自身需求进行小的 UI 或行为调整。 有人关心在不同硬件配置下，如 AMD、Apple ARM 上的性能表现，以及是否有针对特定设备的优化。 还有用户探讨了 Jan 与其他类似工具如 Ollama、GPT4All 等的比较和优势。 部分用户关注 Jan 在服务器部署、模型需求、移动端版本等方面的情况。

比如，有人分享道：“作为一名长期关注此类技术的用户，我发现 Jan 在性能提升方面确实做出了很大努力。但与其他一些已经成熟的工具相比，在功能丰富度上还有一定差距。” 也有人表示：“我在一台 10 年旧的 iMac 上仅使用 CPU 进行测试，性能表现居然相当不错。”

对于 Jan 未来的发展，大家充满期待。有人希望能尽快看到针对不同硬件的详细性能数据，也有人期待更多新功能的推出和优化。此次关于 Jan 的讨论充分展示了用户对其的关注和期望，也为开发者提供了更多改进和发展的思路。