原贴链接

上次我查看的时候人们使用ooba booga文本生成界面，但我认为现在不是这样了。

讨论总结

原帖询问现在人们用什么来运行本地大型语言模型（LLM），评论者们给出了多种运行工具，包括kobold.cpp、Ollama、LM Studio、LocalAI、GPT4ALL等。大家对这些工具的功能、易用性、底层架构、在不同场景下的表现等方面进行了讨论，还分享了自己的使用体验，整体讨论氛围和谐，没有明显的争执。

主要观点

  1. 👍 多数人用kobold.cpp处理.ggufs是因其功能领先。
    • 支持理由：在功能方面领先于其他多数工具。
    • 反对声音：无
  2. 👍 Ollama受欢迎是因为CLI易用。
    • 支持理由：命令行界面使用方便。
    • 反对声音：无
  3. 👍 运行本地LLM有多种工具可供选择。
    • 支持理由：评论提到了如llama.cpp、Ollama、LocalAI等众多工具。
    • 反对声音：无
  4. 👍 不同的人有不同的偏好工具。
    • 支持理由：有人喜欢llama.cpp的默认服务器UI，有人喜欢Ollama等。
    • 反对声音：无
  5. 👍 很多工具底层使用llama.cpp。
    • 支持理由：多位评论者提到很多工具都使用了llama.cpp。
    • 反对声音：无

金句与有趣评论

  1. “😂 多数人就使用kobold.cpp来处理.ggufs，因为它在功能方面领先于大多数其他工具。”
    • 亮点：明确指出kobold.cpp受欢迎的原因是功能领先。
  2. “🤔 Ollama也相当受欢迎，因为它在命令行界面使用方便。”
    • 亮点：解释了Ollama受欢迎的原因。
  3. “👀 llama.cpp, Ollama, LocalAI, LM Studio, GPT4ALL, KoboldAI, SillyTavern, Oogabooga, probably plenty of others. Take your pick.”
    • 亮点：列出了众多可用于运行本地LLM的工具。
  4. “😎 these days my fav is the default server ui for llama.cpp, in love with that.”
    • 亮点：分享了个人对llama.cpp默认服务器UI的喜爱。
  5. “💪 One Great Option: LM Studio is a fantastic experience these days as well, if you want a lovely UI experience + couple other benefits like system prompt and images.”
    • 亮点：介绍了LM Studio的优点。

情感分析

总体情感倾向为积极正面。主要分歧点较少，可能是因为大家都在分享自己的使用经验和知识，没有涉及到太多有争议性的话题。大家都比较乐于分享和推荐自己使用过且觉得不错的工具，所以整个讨论氛围和谐。

趋势与预测

  • 新兴话题：在浏览器中直接运行模型这种新的运行方式可能会引发后续讨论。
  • 潜在影响：对本地LLM的推广和使用有积极影响，更多人可能会尝试不同的运行工具，从而推动本地LLM相关技术的发展。

详细内容：

《Reddit 热议：当下运行本地 LLM 模型的多样选择》

在 Reddit 上，有这样一个热门话题：“I’ve been out of the local llm space for a while what do people use to run these models now?”，它吸引了众多网友的关注，获得了大量的点赞和评论。

原帖提到上次所知人们使用 ooba booga text gen ui 运行模型，但现在情况可能有变。该话题引发了关于当前运行本地 LLM 模型的多种方式的热烈讨论。

讨论的焦点主要集中在各种不同的工具和平台。有人表示，“The majority of people just use kobold.cpp for.ggufs, as it is ahead of most of the others in terms of features. Ollama is also reasonably popular due to its ease of use with CLI. TabbyAPI is the primary way to use ExllamaV2 nowadays. VLLM is the standard for proper deployments, using batch inference.”

有用户分享道：“llama.cpp, Ollama, LocalAI, LM Studio, GPT4ALL, KoboldAI, SillyTavern, Oogabooga, probably plenty of others. Take your pick.” 还有用户说：“these days my fav is the default server ui for llama.cpp, in love with that.” 也有人提到：“For a simple no - code UI, do not sleep on MSTY either, I just started using that one a couple days ago and I may fully switch from LM Studio due to the ability to easily create knowledge stacks and use web search.”

有人认为：“They all use llama.cpp underneath so there shouldn’t be any difference.” 还有观点指出：“Most use llama.cpp but some like exLlama2 have their own inference engine (that’s the main reason we have different model and quant formats like GGUF and EXL2)”

对于不同的场景，有人建议：“For what scenario? If you can do a lot yourself just use AnythingLLM or OpenWebUI and Ollama. Docker version to be more manageable.”

有用户称赞：“kobold.cpp is amazing piece of software!” 也有人觉得：“I think it’s superior for getting up and going with minimal hard drive space or download time.”

还有人提到：“Ooba still works fine and gets updated regularly so it’s still my go to.”

有人推荐：“LM Studio is a fantastic experience these days as well, if you want a lovely UI experience + couple other benefits like system prompt and images.” 以及“Ollama will get you started hassle free in 1 minute it takes to download your first LLM. Then its smart to check other things, and come back to ollama to start building sophisticated stuff. UI - wise Im using this old ‘ollama - webui - lite - main’ which works and statys out of my way(nodejs and you are done ), (the new thing ‘ollama - webui’ drove me nuts, by downloading 3Gb of python stuff and then would not launch, oh well)”

有人提供了技术操作指导：“docker run -d -p 3000:8080 -v open - webui:/app/backend/data ghcr.io/open - webui/open - webui:main”

有人表示：“btw, as a lazy option am running llama 3.2 on icore5+16gb ram, "no gpu", cpu only. Performance is a abysmal, but is sufficient for the small, lazy, can wait type of tasks.”

有用户称：“KoboldCpp, BackyardAI. Now I’m building my own frontend for KoboldCpp to replace BackyardAI because I want to try a different approach and add my own features.”

还有人提到：“You don’t need to install anything anymore, you can now run models directly in the browser with very little overhead.” 并给出了相关链接：https://www.papeg.ai

讨论中存在一定的共识，即 llama.cpp 被广泛使用，但不同的工具和平台在功能、易用性等方面各有特点，用户可以根据自己的需求和偏好进行选择。特别有见地的观点是对于不同场景和需求，应该灵活选用合适的工具，以达到最佳效果。

总之，Reddit 上关于运行本地 LLM 模型的讨论丰富多样，为用户提供了众多有价值的参考和选择。