原贴链接

大家好，我最近开始在本地运行大语言模型（LLMs），不得不说这很有趣，而且我对运行模型的各种不同方式、应用程序和前端感到非常惊讶，从简单的到复杂的都有。所以在按这个顺序（LM Studio、ComfyUI、AnythingLLM、MSTY、ollama、ollama + webui以及我可能遗漏的一些）简短使用之后，我想知道你们当前的首选设置以及最让你们惊喜的最新发现是什么。对我来说，我想我会选择ollama + webui。

讨论总结

原帖作者分享了自己在本地运行LLMs的探索之旅，并询问其他人的常用设置和惊喜发现。评论者们纷纷分享自己的设置，如使用不同的工具组合（Ollama + webui、llama.cpp + 终端操作等），也有推荐新的工具或项目。同时也存在对某些设置的疑问、比较以及对本地运行LLMs意义的探讨，整体氛围积极且多元。

主要观点

  1. 👍 使用多种方式在本地运行LLMs
    • 支持理由：很多评论者分享了自己的本地运行设置，如Ollama + 各种UI、llama.cpp从裸终端运行等，表明有多种可行的方式。
    • 反对声音：无。
  2. 🔥 根据自身需求和硬件条件选择运行方式
    • 正方观点：如根据VRAM情况选择不同运行方案，有AMD卡的选择Koboldcpp - rocm等，体现了根据自身情况选择的合理性。
    • 反方观点：无。
  3. 💡 一些设置存在问题或限制
    • 如在Windows上某些桌面应用前端无法正常工作，LLM运行中可能存在如模型速度慢、硬件限制等问题。
  4. 👍 对新的工具或项目进行推荐
    • 支持理由：如推荐Sillytavern、Mozilla项目Llamafile等，为其他用户提供新的尝试方向。
    • 反对声音：无。
  5. 💡 思考LLMs在生活中的应用
    • 部分用户分享从单纯提问LLMs转变为思考其在生活中的实用性，如用于网络搜索、管理书签、智能家居等方面。

金句与有趣评论

  1. “😂 e79683074: Straight llama.cpp from the bare terminal. I know, I’m a psycho”
    • 亮点：以一种幽默自嘲的方式表达从裸终端使用llama.cpp的独特操作。
  2. “🤔 Mikolai007: Ollama + custom made UI.”
    • 亮点：简洁地表明自己的运行设置，体现了自制UI的个性化选择。
  3. “👀 AaronFeng47: ollama + open webui + Qwen2.5 14B”
    • 亮点：明确给出自己的组合设置，为其他人提供参考示例。

情感分析

总体情感倾向是积极的。主要分歧点在于对本地运行LLMs的看法，部分人积极分享自己的本地运行经验和设置，但也有人质疑本地运行的必要性，认为会消耗更多能量、可能过时且容易出错。可能的原因是不同用户的使用场景、需求以及对技术的理解和偏好不同。

趋势与预测

  • 新兴话题：更多关于如何将LLMs融入生活中的不同应用和项目的讨论可能会出现，以及如何优化不同硬件条件下的本地运行设置。
  • 潜在影响：可能促使更多人尝试新的工具和设置，提高本地运行LLMs的效率和实用性，也可能影响相关工具和项目的发展方向。

详细内容：

标题：Reddit 热议本地运行 LLM 的多样选择与体验

最近，Reddit 上有一个关于本地运行大语言模型（LLM）的热门讨论。一位用户开启了本地运行 LLM 的探索之旅，发现了众多不同的运行方式、应用和前端。此帖获得了大量关注，引发了众多用户的热烈讨论。

讨论焦点主要集中在大家各自的本地 LLM 运行设置和最新的惊喜发现。有人直接在裸终端使用 llama.cpp，有人通过 Ollama 结合自定义界面，还有人利用各种工具的组合，如 lmstudio、ComfyUI 等。

比如，有人说：“我使用 Ollama 和 Open Web Ui。我也曾经使用过 text-gen-web-ui。但对我来说真正的突破是从询问 LLM 问题转变为弄清楚 LLM 在我的生活中实际上如何有用。”

也有用户分享自己的经历：“我有一个 Docker 恐惧症的真实案例，没法让 WebUI 正常工作。但后来发现了一个 Chrome 和 Firefox 扩展程序 Page Assist，它具备 WebUI 的基本功能，而且无需过多折腾。”

对于不同设置的选择，存在着各种观点。有人认为 Ollama 切换模型方便，有人则更倾向于其他工具。例如：“我发现使用 Ollama 时在不同模型之间切换更容易，我有一个巨大的模型库，喜欢为了获得更好的结果或只是为了好玩在不同模型之间切换。”

同时，在讨论中也存在一些争议点。比如，对于某些模型所需的 VRAM 大小，不同用户有着不同的看法和体验。

共识在于大家都在积极探索适合自己的本地 LLM 运行方式，以获得更好的使用体验。

特别有见地的观点如：“最新发现让我最为惊讶的是：较小的 Llama 模型在几乎所有方面都表现得相当不错。3Bs 对于我不太强大的硬件来说是最好的选择，但我也可以毫无问题地运行 8Bs 。”

总之，这次讨论展示了大家在本地运行 LLM 方面的丰富经验和多样观点，为更多探索者提供了宝贵的参考。