原贴链接

大约六个月前，我开始重新审视自己最初对大语言模型（LLMs）的怀疑态度，并努力尝试理解如何从中获取价值。在我的学习过程中，我意识到我阅读的很多内容要么预设了我不具备的知识，要么由于面向Linux或MacOS使用的指南而难以遵循。我一直在编写我开始时就希望拥有的指南，并且随着新的发展以及我进一步探索，我会不断更新它。我希望这能帮助新手，欢迎反馈！[https://www.oliviertravers.com/running-llms -locally -the -getting -started -windows -stack/]

讨论总结

帖子作者分享了自己编写的在Windows上安装LLMs的初学者指南，希望能对新手有帮助。评论者们从自身的经验出发，主要讨论了在Windows系统上运行LLMs的情况，包括硬件设备上测试模型效果不佳、运行体验糟糕、资源占用多等问题，也有技术咨询类的问题，还有评论者不建议在Windows上安装LLMs而推荐Linux系统。

主要观点

  1. 👍 在ThinkPad设备上测试运行LLMs的不同模型效果不佳
    • 支持理由：评论者列出设备配置并给出测试数据如每秒标记数等表明效果不好。
    • 反对声音：无。
  2. 🔥 Windows会无端占用额外的显存和内存
    • 正方观点：评论者指出自己的经验表明Windows存在这种情况。
    • 反方观点：无。
  3. 💡 对于小型LLM的初步了解，Windows上的Koboldcpp可执行文件可满足需求
    • 解释：评论者认为如果只是初步探索小型LLMs，Windows下的Koboldcpp基本能行。
  4. 💡 若要充分发挥LLM性能，Windows不是一个好的选择
    • 解释：因为Windows存在调度、后台进程、内存显存占用、难以调整等诸多弊端。
  5. 💡 在Windows上运行本地LLMs体验糟糕
    • 解释：评论者根据自己的测试得出这个结论。

金句与有趣评论

  1. “😂 由于一些健康问题…我被迫卖掉了我组建的AI设备。”
    • 亮点：从个人特殊情况引出后面关于在Windows上运行LLMs的讨论。
  2. “🤔 运行本地LLMs在Windows上糟透了。而且不是好的那种糟。”
    • 亮点：直白地表达出在Windows上运行LLMs体验之差。
  3. “👀 我在考虑在Windows中运行一个带有Ubuntu和Kobold.cpp的虚拟机并抱有最好的期望。”
    • 亮点：提出一种在Windows下改善LLMs运行情况的可能方式。

情感分析

总体情感倾向是偏向消极的，主要分歧点在于Windows是否适合运行LLMs。可能的原因是评论者们大多从自身的测试和使用体验出发，发现Windows在运行LLMs时存在诸多问题，如资源占用、性能不佳等。

趋势与预测

  • 新兴话题：可能会有更多关于如何在Windows下优化LLMs运行的讨论。
  • 潜在影响：可能会让更多新手在选择安装LLMs的系统时更谨慎地考虑Windows系统。

详细内容：

《关于在 Windows 上安装 LLMs 的热门讨论》

最近，Reddit 上一篇名为“Beginner Walkthrough to Install LLMs on Windows”的帖子引发了众多关注，获得了大量点赞和评论。原帖作者表示，自己经过努力学习，为大家撰写了一份在 Windows 上安装 LLMs 的指南，还分享了链接https://www.oliviertravers.com/running-llms-locally-the-getting-started-windows-stack/ 。文章将要探讨的核心问题是在 Windows 上安装和运行 LLMs 的可行性及面临的挑战。

在讨论中，观点多样。有人分享了自己的具体设备配置和尝试运行 LLMs 的经历。比如，有用户称由于健康问题，卖掉了自己搭建的 AI 设备，现在使用 ThinkPad P14s Gen5 AMD，配置了 64GB 的 DDR5 5600 RAM 等，并进行了一系列的测试。

不少用户认为在 Windows 上运行本地 LLMs 存在诸多问题。有用户表示：“Windows 会无端占用额外的 1GB VRAM 和一些 RAM。所以，除非你能把 VRAM 存放在铲子中，否则可能更倾向于使用 Linux。”还有用户指出：“Windows 从未被设计成重软件服务器操作系统，在调度、大量不可移除的后台进程、RAM/VRAM 消耗、难以调试等方面存在诸多缺点。”

但也有人提出疑问，比如“是否可以在不安装大型 cudatoolkit 的情况下运行 llama.cpp.python 推理？”

有用户提供了一些个人经历和案例分享，比如有用户称如果 CPU 有内置 GPU，可以将显示器连接到主板而不是 GPU，在设置中进行相关分配，还提到在任务管理器中通过特定操作查看和处理占用 VRAM 的程序。

总体来看，大家对于在 Windows 上安装和运行 LLMs 存在较大争议，有人认为不可行，有人则在努力寻找解决方案。

综上所述，关于在 Windows 上安装 LLMs 的讨论十分热烈，各方观点都有其合理性，也反映出这一问题的复杂性和挑战性。