原贴链接

最近，我看到很多帖子询问如何在本地托管大型语言模型（LLM）。我写这个指南是为了帮助初学者涉足在家运行本地AI服务器。你不需要8台Mac mini，甚至不需要GPU——如果你有一台旧笔记本电脑或计算机，这个指南就适合你。目标是在一台低配置设备（文中以2018年发布的7代NUC为例，配置为英特尔酷睿i7 - 8650U处理器、16GB内存和500GB NVMe固态硬盘）上仅使用CPU进行推理来设置Linux、Ollama和OpenWebUI。除了运行LLM，我们还将生成图像！你也可以在我的github上访问这个指南：[https://github.com/dicksondickson/project - migit](https://github.com/dicksondickson/project - migit)。文中还给出了测试的模型及其性能指标，如Qwen 2.5系列不同参数模型的性能，推理模型部分模型的性能，以及图像生成模型的性能。然后详细介绍了搭建本地AI服务器的步骤，包括安装Pop!_OS、更新系统、系统调整、安装Python包、安装Ollama、安装Docker引擎、安装OpenWebUI、连接OpenWebUI和Ollama、下载模型、设置文本到语音、系统资源监控、远程监控AI服务器、在AI服务器上运行FastSDCPU进行图像生成以及相关组件的更新等。

讨论总结

原帖分享了在低配置设备（如旧笔记本或电脑）上搭建AI服务器的项目“Project MIGIT - AI Server on a Potato”的详细指南，包括安装操作系统、配置各种软件、下载模型等步骤。评论者总体态度积极，有人推荐相关项目，有人分享自己在类似设备上的尝试成果，还有人提出技术操作方面的建议或进行技术讨论，也有少量关于项目名称可能存在问题的争议。

主要观点

  1. 👍 原帖是很棒的详细指南并表示感谢
    • 支持理由：原帖提供了在低配置设备上搭建AI服务器的详细步骤，对初学者有帮助。
    • 反对声音：无
  2. 🔥 推荐Harbor项目
    • 正方观点：在完成Docker安装和配置之后，可通过一个命令完成多种设置。
    • 反方观点：无，但指出需要占用相当多的磁盘空间。
  3. 💡 将用户添加到docker组从而停止使用sudo docker
    • 支持理由：原帖整体不错，但在操作docker时可以进行此优化。
    • 反对声音：无

金句与有趣评论

  1. “😂 Great detailed guide! Thank you so much 🙌”
    • 亮点：简洁地表达了对原帖的认可和感激。
  2. “🤔 You might find Harbor relevant for setups like these.”
    • 亮点：为原帖的相关操作推荐了一个可能有用的项目。
  3. “👀 It inspired me to try ollama on my most powerful potato, a 2015 i3 NUC.”
    • 亮点：幽默地将旧设备形容为“最强大的土豆”，并表示受到原帖启发。

情感分析

总体情感倾向是积极的，大部分评论者对原帖表示赞同和感谢。主要分歧点在于项目名称可能存在不恰当之处，但这一争议的热度较低。积极情感的原因是原帖提供了有价值的技术指南，对想要在低配置设备上搭建AI服务器的人有帮助。

趋势与预测

  • 新兴话题：llamafile对项目中某些软件的替换以及相关依赖关系的改变可能会引发后续讨论。
  • 潜在影响：如果类似的在低配置设备上搭建AI服务器的项目越来越多，可能会使更多人能够低成本地体验AI相关功能，推动AI技术在更广泛群体中的普及。

详细内容：

标题：在土豆上搭建 AI 服务器——Project MIGIT 引发的热门讨论

近日，Reddit 上一篇关于“Project MIGIT - AI Server on a Potato”的帖子引起了广泛关注，收获了众多点赞和大量评论。该帖子主要为初学者提供了在家中利用旧笔记本电脑或计算机，仅使用 CPU 进行推理来搭建本地 AI 服务器的详细指南，还能生成图像。其涉及在 2018 年发布的 7 代 NUC 上运行 Ubuntu 操作系统、Ollama、OpenWebUI 和 KokoroTTS 等，并测试了多种模型的性能指标。

讨论焦点主要集中在以下几个方面： 有人称赞这是一份非常详细的指南，并提到了“Harbor”相关的内容，认为对类似的设置有帮助。 有人在尝试后分享了自己在 2015 年 i3 NUC 上运行的成果，对在低功耗系统上运行模型感到兴奋。 有人建议将用户添加到 Docker 组以避免频繁使用 sudo docker。 对于远程访问 OpenWebUI 的方式，有人提出无需复杂的设置在本地网络内可直接访问，若要从外部网络访问，可尝试 Tailscale。 有人讨论了关于项目名称是否恰当以及与 NVIDIA 项目的关联。

比如，有用户分享道：“非常不错，感谢发布。它激励我在我最强大的‘土豆’——2015 年的 i3 NUC 上尝试 ollama，qwen2.5:1.5b - instruct - q4_K_M 让我每秒能获得约 9 个令牌。我对在低功耗系统上运行模型的可能性比其他任何事情都更兴奋！”

总的来说，这一讨论展示了大家对于在有限资源下搭建 AI 服务器的热情和探索，不同的观点和经验交流丰富了整个话题。