原贴链接

你认为运行本地大语言模型最流行的操作系统是什么？是MacOS、Windows还是Linux？我看到很多Mac和Windows用户。我两者都用，并且将开始尝试Linux。你用的是什么？编辑：……你认为初学者使用什么操作系统呢？

讨论总结

这是一个关于运行本地大型语言模型（LLMs）最流行的操作系统的讨论。参与者分享了自己使用的操作系统，如Windows、Linux各种发行版（Ubuntu、Fedora、Debian等）、MacOS等，并阐述了选择的原因，包括性能、硬件兼容性、成本、使用习惯等因素。也有部分人提到初学者适合的操作系统，还有关于不同操作系统在特定场景下（如游戏、开发工作等）的表现。

主要观点

  1. 👍 Linux是运行本地LLMs的较好选择
    • 支持理由：很多人提到Linux的性能较好，如在处理NVIDIA后端方面有优势，像Fedora系统下RPM Fusion处理NVIDIA后端无缝；也有提到Debian能够打包所有HIP相关内容，解决AMD GPU运行ROCm加速相关问题。
    • 反对声音：部分人认为Linux需要一些调整才能使用，对初学者不太友好。
  2. 🔥 Windows是运行本地LLMs最流行的操作系统
    • 正方观点：一些用户认为大多数人仍然使用Windows来运行本地LLMs，因为macOS硬件价格昂贵（尤其是GPU方面），Linux需要一些调整，而Windows电脑硬件适合运行LLMs且用于游戏，并且很多相关软件在Windows下可运行。
    • 反方观点：有用户质疑谁还在使用Windows，认为Linux在运行LLMs方面更好，还提及Linux在游戏方面也有优势。
  3. 💡 MacOS适合运行本地LLMs
    • 理由：其新架构对Ollama和Open - WebUI非常友好，M系列的Max和Ultra型号有着极快的统一内存，可在100瓦以下运行像70B这样的大型模型，不需要多个显卡。
  4. 💡 操作系统的选择取决于自身需求
    • 解释：不同的操作系统在不同的使用场景下各有优劣，如Windows适合有较多非LLM任务且硬件资源不多的用户；Linux适合高级或专业的本地LLM使用者；MacOS适合有内存需求、需要同时运行多任务的用户。
  5. 💡 初学者可以使用Windows，但Linux性能更好，Fedora是适合初学者的发行版
    • 解释：Windows系统对初学者来说可能更容易上手，但从性能角度，Linux更佳，其中Fedora被推荐为适合初学者的Linux发行版。

金句与有趣评论

  1. “😂 Cobthecobbler: I’m using windows because it makes people upset”
    • 亮点：以一种幽默的方式表明选择Windows系统的独特原因。
  2. “🤔 TTemujin: laptops with nvidia cards lasts at most 2 minutes. and pc with nvidia cards cant be carried with me. and they also costs a shit ton of money and similar to macbooks. I cant build a pc that can do llms with less than $3k. rather a macbook is really good for casual development and also portability.”
    • 亮点：详细对比了NVIDIA显卡设备与MacBook在成本、便携性等方面的情况。
  3. “👀 suprjami：Debian. They package all the HIP stuff so you can run ROCm acceleration on any AMD GPU, even old ones which aren’t officially supported by AMD ROCm like my 5600XT.”
    • 亮点：突出Debian系统在运行AMD GPU相关任务时的优势。

情感分析

总体情感倾向比较中立。主要分歧点在于哪种操作系统是运行本地LLMs最流行或者最好的选择。可能的原因是不同用户有不同的使用场景、硬件配置以及对操作系统的熟悉程度。例如，有些用户因为工作或游戏需求而倾向于Windows；部分用户看重Linux的性能和开源特性；还有些用户因MacOS的内存优势或新架构而选择它。

趋势与预测

  • 新兴话题：可能会有更多关于不同操作系统在运行特定LLMs软件或任务时的详细性能比较，以及如何优化操作系统以更好地运行LLMs。
  • 潜在影响：对操作系统开发者来说，可能会促使他们根据LLMs的需求优化系统，例如Linux发行版可能会更加注重对各种硬件的适配性和软件的易用性；对普通用户而言，有助于在选择运行LLMs的操作系统时做出更明智的决策。

详细内容：

标题：关于本地 LLMs 运行所偏好操作系统的热门讨论

在 Reddit 上，一个题为“Which OS Do Most People Use for Local LLMs?”的帖子引发了热烈讨论。该帖子询问了大家认为运行本地 LLMs 最流行的操作系统是哪种，是 MacOS、Windows 还是 Linux，并分享了自己使用多种系统的经历，还提到了对于初学者适用操作系统的思考。此帖获得了众多关注，评论数众多。

讨论焦点主要集中在不同操作系统的性能、便携性、易用性以及成本等方面。有人认为 Windows 性能不错，尤其是经过优化后，但也有人指出其存在不稳定的情况。比如，[Minute_Attempt3063]表示自己的经验中，优化 Windows 反而使其更不稳定、更难用；而[Bobby72006]则认为优化后是可用的。

对于 Linux 系统，一些用户提到其性能表现良好，如[suprjami]分享了在 Debian 系统上的成功经验，指出能通过一些方式解决官方支持有限的问题，并获得了显著的速度提升。但也有像[whiteh4cker]这样的用户在设置 Ubuntu Server 时遇到了诸多困难。

MacOS 因其新架构和统一内存等特点受到一些用户的青睐，像[ebrbrbr]称赞其在低功耗下的出色性能。

在讨论中，共识在于操作系统的选择取决于个人需求和使用场景。特别有见地的观点如[Tsukikira]指出，对于大多数人而言 Windows 仍很流行，但对于专门设置 LLMs 网络服务的人群，Linux 则更受欢迎。

总的来说，关于本地 LLMs 运行所偏好的操作系统，Reddit 上的讨论丰富多样，各有观点，充分反映了不同用户的需求和体验差异。