原贴链接

花大约350美元购买整个（PS5）系统，还有更好的选择吗？这个东西（PS5）具备3060级别的每秒万亿次浮点运算能力，16GB统一的GDDR6显存，带宽约为450GB每秒，还有350瓦的电源。更不用说很多人的客厅里都有它，反正我在玩游戏的时候不使用任何大型语言模型（LLM），所以PS5实际上可以有双重用途。目前正在研究如何在PS5上运行大型语言模型，如果有人有任何线索请告诉我。我之前都不知道使用GDDR统一内存的系统真的存在，更不用说AMD在5年前就做到了，所以他们可以基于Strix Halo发布自己的DIGITS，但使用显存（VRAM）而不是DDR。

讨论总结

原帖提出将PS5用于推理（运行大型语言模型LLMs），认为其约350美元的价格下性能不错且可两用。评论者观点各异，一部分人持反对态度，认为PS5性能被高估，有硬件限制，如没有CUDA、缺乏API访问权限等，难以实现运行LLMs；也有人赞同原帖的创新思维，还有人推荐了其他设备如AMD BC - 250，也有提出Xbox One S作为潜在研究对象的。整个讨论氛围比较理性，大家从不同角度如技术、性价比等方面进行讨论。

主要观点

  1. 👎 PS5性能被高估，游戏优化是其表现好的原因。
    • 支持理由：[控制台实际上没有人们想象的那么强大，在很多方面与其他设备相比存在不足，游戏优化才使其表现较好。]
    • 反对声音：[原帖认为PS5本身性能不错，在约350美元价格下性价比高，可用于运行LLMs等。]
  2. 🔥 在PS5上运行LLM目前不可行。
    • 正方观点：[PS5自制系统新、无法侧载软件、缺乏对CUDA的支持等硬件限制，以及没有找到可行的运行方式。]
    • 反方观点：[有人认为可以尝试，如通过将其转变为游戏等独特思路来实现。]
  3. 💡 AMD BC - 250可作为类似PS5且有性价比的选择。
    • [解释：推荐者称其基本上是PS5的APU，价格便宜，虽然让其与LLM工作不易但价格值得，还可在reddit找到相关修改帖子。]
  4. 👍 认可原帖将PS5用于LLM相关功能是个好主意。
    • 支持理由：[可以将PS5打造为LLM家庭服务器，游戏开发者可以整合相关引擎等拓展性想法。]
    • 反对声音：[许多人从技术和设备用途等角度反对，认为游戏机有特定用途，不适合用于运行LLMs。]
  5. 🤔 与4060 16GB相比，PS5性价比更高。
    • [解释：因为4060 16GB内存带宽更低且建议零售价为500美元，而PS5约350美元能有不错的配置。]

金句与有趣评论

  1. “😂 Consoles are actually less powerful than you might imagine, mostly doing well due to game optimization as compared to on PC.”
    • 亮点：[简洁地指出控制台性能被高估的原因。]
  2. “🤔 Not since Sony stopped supporting linux or dicking around with their hw drm”
    • 亮点：[指出索尼的操作对PS5用于运行LLMs造成影响。]
  3. “👀 The PS5 homebrew scene is still far too new for this to be a sensible path.”
    • 亮点：[从自制系统角度说明在PS5上运行LLM不可行。]
  4. “😎 Good idea, why not make PS5 llm home server?”
    • 亮点：[对原帖在PS5上运行LLMs的想法表示认可并提出新的拓展思路。]
  5. “💡 Maybe you could turn it into a game, like a interactive experience where players can engage with Ollama in a fun way.”
    • 亮点：[提出一种独特的利用PS5运行LLMs的方式，将其转变为游戏。]

情感分析

总体情感倾向较为复杂，有赞同、反对和中立。主要分歧点在于PS5是否能用于运行LLMs，以及其性价比和性能是否适合这样的用途。赞同者欣赏原帖的创新思维，认为可以探索PS5在LLM方面的应用；反对者从技术限制、设备用途等角度出发否定这一想法；中立者则更多是在分析其中的可能性和困难。

趋势与预测

  • 新兴话题：[将PS5运行LLMs转变为游戏的设想可能会引发更多关于游戏与LLMs结合的讨论。]
  • 潜在影响：[如果PS5真的能用于运行LLMs或者类似的探索成功，可能会影响人们对游戏主机功能的重新认识，也可能对LLMs的普及和应用场景拓展产生一定影响。]

详细内容：

标题：关于在 PS5 上运行 LLM 的热门讨论

在 Reddit 上，一则关于“PS5 for inference”的帖子引起了广泛关注。该帖表示，花费约 350 美元的 PS5 系统拥有强大的性能，想探索在其上运行 LLM 的可能性，并寻求相关线索。此帖获得了众多的点赞和大量的评论。

讨论的焦点主要集中在以下几个方面：

有人认为，游戏机实际性能可能不如想象中强大，更多是依靠游戏优化，而且在 PS5 上运行 LLM 目前似乎没有可行的方法，因为无法侧载软件。但也有人提出，可以编写一个执行 LLM 推理的“游戏”并在 PlayStation 商店“出售”。

有用户分享说，很多人为买 4090 找理由，也有人因为类似原因买了 48GB 的 MacBook Pro。还有人指出，“游戏优化”与 LLM 都涉及并行处理和 GPU。但也有观点认为，游戏机中的很多硬件是固定功能的，不能进行通用的并行计算。

对于 PS5 运行 LLM 的可能性，看法不一。有人认为目前 PS5 的自制系统还不够成熟，要实现运行 LLM 不太可行，在这个价格下，不如在预装机中使用二手 GPU。但也有人觉得这是一条有希望的路径，比如 AMD BC-250 就具有一定的潜力，虽然设置起来不容易，但价格相对便宜。

有用户提到，PS5 Pro 可能会添加相关的 IP 模块以支持更复杂的任务。也有人认为，用 P40 可能更好。还有人说不能在 PS5 上运行 LLM，除非有内置 LLM 的游戏发布。

总的来说，关于能否在 PS5 上运行 LLM 存在很大的争议。有人觉得这是创新的想法，也有人认为面临诸多困难和限制。但正是这样的讨论，让大家对硬件的应用有了更深入的思考。