原贴链接

时光飞逝。ollama的最新版本终于支持设置默认上下文长度了。我确定2000的默认上下文长度坑了很多初学者。为什么给模型10页PDF时它这么笨？因为你没有设置上下文长度，惊不惊喜！好吧，现在他们支持设置默认上下文长度了。你可能会问，怎么设置呢？它写在发行说明里了，但除此之外，没有任何相关文档。你可以看到有个环境变量叫OLLAMA_CONTEXT_LENGTH，但如果在他们组织混乱的文档里搜索，什么都找不到。如果去搜索GitHub代码，会发现没有markdown文档提到这个新引入的环境变量。实际上，如果你足够聪明，当你发现需要浏览几个不同的markdown文件才能正确设置这个东西时，你就会意识到它还不适合用于生产。附言：ollama不是我接触的第一个大型语言模型框架，但在最终转向llama.cpp之前我也用了它好一阵子。

讨论总结

原帖指出ollama最新版本支持设置默认上下文长度，但之前2000的默认上下文长度对初学者不友好，现在支持设置却仅在发布说明提及，文档无记录且正确设置需查看多个Markdown文件，感觉不适合生产。评论者有的赞同原帖，指出ollama操作繁琐、不用户友好等问题，也有反驳认为生产环境中使用ollama的公司技术人员有能力搜索代码库等，还有人推荐其他工具、提及开源项目风险等，整体讨论氛围较为理性客观。

主要观点

  1. 👍 ollama的2000默认上下文长度对初学者不利。
    • 支持理由：很多初学者在未设置上下文长度时遇到问题，如处理PDF文档时模型表现不佳。
    • 反对声音：无。
  2. 🔥 ollama更改上下文大小操作繁琐。
    • 正方观点：创建参数文件、创建新模型等步骤复杂，与其他工具调整方式对比操作不便。
    • 反方观点：无。
  3. 💡 生产环境中使用ollama的公司技术人员有能力搜索代码库。
    • 支持理由：在生产环境中的技术人员技能足够，可以搜索代码库来解决问题。
    • 反对声音：原帖作者认为新技术中即使不该发生的情况也经常发生，文档完善程度也是重要因素。
  4. 💡 ollama是企业开源，存在改变许可证或私有化风险。
    • 支持理由：企业开源可能为了盈利而改变策略。
    • 反对声音：无。
  5. 💡 遇到问题应在GitHub开工单或修改文档创建拉取请求，而非仅在Reddit抱怨。
    • 支持理由：这样能直接解决文档不足等问题，对大家更有帮助。
    • 反对声音：有人认为用户不必理解代码库，开个工单就够了，不认同这种要求。

金句与有趣评论

  1. “😂 I’m sure that 2k default context length have killed tons of beginners.”
    • 亮点：形象地表达出2000默认上下文长度对初学者的负面影响。
  2. “🤔 "Not ready for production" and "beginners". Do you think companies who set this up in production are hiring beginners? If they use ollama in prod, there is a high chance that those SWEs are skilled enough to search through a code base.”
    • 亮点：从生产环境中公司雇佣人员的角度反驳原帖观点。
  3. “👀 我得创建5 - 7个模型才能找到适合24Gb显存的上下文大小，然后才能真正开始使用模型，而在LM Studio或text - generation - webUI中我只需左右滑动滑块。”
    • 亮点：通过对比凸显ollama在调整上下文大小方面的操作繁琐。
  4. “😎 Just use lmstudio, much more easier to use, easy to see and set params too.”
    • 亮点：直接推荐更易用的工具。
  5. “🙄 OkAstronaut4911： Instead of complaining here on Reddit you could have opened a ticket on their GitHub or even do the actual changes to the documentation and create a pull request.”
    • 亮点：提出解决问题的积极方式。

情感分析

总体情感倾向较为理性中立。主要分歧点在于ollama是否适合生产以及对初学者是否友好。赞同的一方主要是从自身使用体验出发，如操作繁琐、文档缺乏等方面认为不适合生产和初学者；反驳的一方更多从生产环境中技术人员能力、不同技术设置的差异等方面进行反驳。

趋势与预测

  • 新兴话题：ollama的开源性质可能引发更多关于企业开源风险的讨论。
  • 潜在影响：对ollama开发者来说，可能促使其改进文档、操作流程等；对用户来说，在选择工具时会更谨慎考虑文档完善程度和开源性质等因素。

详细内容：

标题：关于 Ollama 在 PoC 与生产环境中的表现争议

Ollama 相关的帖子在 Reddit 上引起了广泛关注，获得了众多点赞和大量评论。原帖指出最新的 Ollama 版本终于支持设置默认上下文长度，但相关文档极为匮乏。帖中还提供了多个相关链接，如https://github.com/ollama/ollama/releases/tag/v0.5.13 。

这一话题引发了多方面的讨论。有人认为对于生产环境而言，Ollama 存在诸多不足，比如文档混乱、设置复杂。有人表示：“其实如果够聪明，当发现需要浏览多个不同的 Markdown 文件才能正确设置时，就能感觉到它还没准备好用于生产。”还有人提到：“Ollama 能运行 gguf 格式的任何模型，包括从 huggingface 自动拉取。可以在 HF 的’Local apps’设置中启用 ollama 来让 HF 为正确格式的模型生成 ollama 命令。”

对于 Ollama 是否适合生产环境，存在不同观点。有人觉得：“公司里负责设置的软件工程师应该有足够能力搜索代码库，或者使用 num_ctx 进行设置。”但也有人反驳：“这种情况在新技术中经常发生，OpenAI API 不支持某些设置，多数人更倾向于针对 OpenAI API 以免被特定后端束缚。”

有人认为：“Ollama 完全不友好，比如更改上下文大小得创建文件和新模型，极为繁琐。”也有人指出：“Ollama 是开源的，但可能存在企业控制开源项目并改变许可的风险。”

关于如何应对这些问题，有人认为不应只在 Reddit 抱怨，而应在 GitHub 上开 ticket 甚至修改文档并创建 pull request。但也有人反驳：“作为用户不应需要理解代码库，开 ticket 就足够了。”有人分享说自己已经在 GitHub 上开了 issue。还有人表示他们在生产中使用 vllm 。

总之，关于 Ollama 在生产环境中的适用性，各方观点激烈交锋，仍有待进一步探讨和完善。