原贴链接

此为一个视频链接：https://llminfo.image.fangd123.cn/videos/1jiook5.mp4，无更多文字内容可翻译

讨论总结

该讨论围绕在Steam Deck中以Docker运行LLMs展开。作者Everlier展示相关内容，指出这是CPU - only推理，性能不高主要为了好玩，不推荐实用目的运行。后续大家围绕此展开，如FrostyMisa提到提速方法，也有对Steam Deck硬件性能与其他设备的比较，还有对Vulkan加速推理可行性的好奇等，整体氛围积极且有技术交流性。

主要观点

  1. 👍 这是在Steam Deck中以Docker运行LLMs的CPU - only推理展示
    • 支持理由：作者Everlier明确指出
    • 反对声音：无
  2. 🔥 此展示更多是为乐趣而非追求高性能
    • 正方观点：作者Everlier表示性能不是最出众，更多为好玩
    • 反方观点：无
  3. 💡 不推荐为实用目的运行这种设置
    • 支持理由：作者Everlier认为除好奇外不推荐
    • 反对声音：无
  4. 👍 使用KoboldCPP选择Vulkan并将所有层卸载到GPU可提高生成速度
    • 支持理由：FrostyMisa提到可提速且给出具体数据
    • 反对声音：无
  5. 💡 若要运行相关设置，FrostyMisa的指南是更好的起点
    • 支持理由：Everlier推荐
    • 反对声音：无

金句与有趣评论

  1. “😂 Everlier：Not the most performant one either, done mostly for fun.”
    • 亮点：简洁概括该展示的特点，强调非高性能而是趣味性
  2. “🤔 FrostyMisa：Try it with KoboldCPP, you can get up to 5x faster generation when you select Vulkan and offload all layers to GPU.”
    • 亮点：提供了一种提高速度的具体操作方法
  3. “👀 Everlier：If anybody wants to actually run such a setup, the guide from the the u/FrostyMisa above is a much better starting point.”
    • 亮点：为想进行相关设置的人提供了有用的指南推荐

情感分析

总体情感倾向是积极的。主要分歧点较少，大家基本围绕如何运行、性能、是否实用等话题展开交流。可能的原因是这是一个相对较新且小众的技术尝试，大家更多是在分享经验和好奇探索。

趋势与预测

  • 新兴话题：Vulkan加速推理在更多场景的应用。
  • 潜在影响：对LLMs在更多设备上的运行优化有一定的参考价值，促进相关技术爱好者进一步探索。

详细内容：

标题：在 Steam Deck 上运行 LLMs 的 Docker 讨论

在 Reddit 上，一个关于“LLMs on a Steam Deck in Docker”的话题引起了广泛关注。该帖子包含了一个视频链接[https://llminfo.image.fangd123.cn/videos/1jiook5.mp4]，获得了众多点赞和大量的评论。帖子引发的主要讨论方向是在 Steam Deck 上运行 LLMs 的性能表现、相关设置以及不同方法的比较。文章将要探讨的核心问题是如何在 Steam Deck 上更有效地运行 LLMs 以及不同方法的优劣。

在讨论中，有人表示这只是在 Steam Deck 上基于 CPU 的推理展示，性能并非最佳，主要是为了好玩。比如，对于 Gemma 3 4B 在 4k 环境下，每秒事务处理量（TPS）在不同条件下在 3.5 到 7 之间波动。有人提到用 KoboldCPP 并选择 Vulkan 将所有层卸载到 GPU，可以让生成速度提高多达 5 倍。还有人指出自己的设置主要是为了看是否可行，而如果有人想实际运行这样的设置，[https://www.reddit.com/r/SteamDeck/comments/1auva4p/run_any_llm_model_up_to_107b_q4_k_m_on_steam_deck/?share_id=YF0to3HwFruWDm3DEPyDf&utm_content=2&utm_medium=ios_app&utm_name=ioscss&utm_source=share&utm_term=1]这个指南是更好的起点。有人认为 Steam Deck 的 CPU/GPU 比自己的笔记本电脑好，应该能运行模型更快。还有人一直在思考 Vulkan 加速推理是否可行，并得到了可以使用 KoboldCPP 的建议，能获得比如对于 Gemma-3-4b Q4KM 每秒 15 次的生成速度。

讨论中的共识是大家对在 Steam Deck 上运行 LLMs 的探索充满兴趣。独特的观点如使用特定方法提高生成速度丰富了讨论。总的来说，这次关于在 Steam Deck 上运行 LLMs 的讨论展现了大家的积极探索和多样的见解。