原贴链接

此为一个视频链接：https://v.redd.it/vmfpb2m2r5ce1/DASH_1080.mp4?source=fallback，无更多相关文字内容可翻译

讨论总结

此贴围绕WebGPU - 加速推理LLMs在浏览器本地100%运行展开讨论。包括其在不同硬件上的性能表现、模型能力、应用场景等多方面内容，既有对该技术成果的肯定、期待和认可，也有对技术故障、模型表现不佳等方面的质疑，整体氛围多元且存在不同观点的交流。

主要观点

  1. 👍 展示MiniThinky - v2 (1B)在特定设备上本地浏览器运行的性能及相关情况
    • 支持理由：xenovatech展示了在MacBook M3 Pro Max上的运行性能，每秒约60个令牌且无API调用
    • 反对声音：无
  2. 🔥 AI验证过程可能出现不合理判断
    • 正方观点：如验证时出现60不等于60这种荒诞判断
    • 反方观点：无
  3. 💡 小模型微调不当容易输出无意义内容
    • 解释：从模型按要求生成随机文本而非有用结果得出此结论
  4. 💡 硬件配置会影响WebGPU - accelerated reasoning LLMs的运行效率
    • 解释：不同硬件配置下每秒处理token数量不同体现出该影响
  5. 💡 认为这是小型llm除api之外的首个实际有用的应用并给予肯定
    • 解释：直接表达对WebGPU - 加速推理LLMs本地运行成果的夸赞

金句与有趣评论

  1. “😂 xenovatech：This video shows MiniThinky - v2 (1B) running 100% locally in the browser at \\~60 tps on a MacBook M3 Pro Max (no API calls).”
    • 亮点：直接给出MiniThinky - v2 (1B)的性能数据，是对主题内容的有力支撑
  2. “🤔 I love how the first pass gets it right, but then the verification pass declares that incorrect, on grounds that 60 does not equal 60, and starts wondering whether the problem is wrong, or time works differently for each of the two people in the problem”
    • 亮点：生动地描述了AI验证过程中的不合理之处
  3. “👀 Common issue with finetunes, especially of smaller models. They tend to spew BS if not tuned appropriately.”
    • 亮点：指出小模型微调的常见问题，具有一定代表性
  4. “😎 Oh wow finally, a reasoning llm that actually uses thinking tags”
    • 亮点：表达对WebGPU - 加速推理LLMs使用思考标签这一功能的惊喜
  5. “😄 This is exactly what I need for my current project!”
    • 亮点：体现出该技术对部分用户项目的适用性价值

情感分析

总体情感倾向多样，既有积极肯定的态度，如对项目成果表示赞赏、认为是很棒的工作等；也有消极负面的评价，如对webgpu在Linux系统下体验差的吐槽。主要分歧点在于对WebGPU - 加速推理LLMs的性能、能力和应用效果等方面的看法不同，可能是由于不同用户的使用场景、设备条件和期望不同导致的。

趋势与预测

  • 新兴话题：如模型的加载可能性、模型存储位置等新问题可能引发后续讨论。
  • 潜在影响：如果技术进一步完善，可能会对AI在本地的应用产生积极推动作用，改变人们对本地运行AI模型的看法和使用习惯。

详细内容：

标题：WebGPU 加速推理 LLM 在浏览器本地运行引发热议

近日，Reddit 上一则关于 WebGPU 加速推理 LLM 能 100%在浏览器本地运行的帖子引发了众多网友的热烈讨论。该帖子包含了一段视频https://v.redd.it/vmfpb2m2r5ce1/DASH_1080.mp4?source=fallback，获得了极高的关注度，众多网友纷纷发表自己的看法和见解。

讨论焦点主要集中在以下几个方面： 有人分享了自己运行该模型的经历，比如[-Akos-]运行后要求“创建一个蝴蝶的 SVG”，虽然自己的电脑 GPU 性能较差，生成速度较慢，但看到模型的思考过程仍觉惊艳。有人展示了生成的 SVG 代码，如[a_slay_nub]给出的更为精美的蝴蝶 SVG 代码https://www.svgviewer.dev/。

对于该模型的性能和所需硬件条件，大家各抒己见。有人提出如果将其作为插件发布，使用者需要具备足够的本地容量（RAM），包括 RAM、GPU 和 VRAM。不同硬件配置的用户也分享了自己的运行速度，如 50tps 在 3090 上，40.89tokens/second 在 4060ti 16Gb 上。

关于模型的表现，有人认为这并非真正的推理，而只是通过优化提示工程来尽力给出正确答案。有人则对模型生成的一些奇怪和不准确的结果进行了吐槽，比如 MappyMcMapHead 要求写一个 Python 中的条形码库存系统，得到的却是一堆无意义的乱码。

还有很多有趣的观点和思考，比如为什么推理总是从“Alright”开始，有人认为“Ok”“So”等也可以；有人设想通过特定的提示让 AI 更好地处理数学问题。

在众多讨论中，也有用户分享了自己在使用过程中的个人经历和案例，如 bsenftner 表示自己的 Nvidia T1200 GPU 未被识别，只能使用性能较差的 Intel UHD GPU。

总的来说，这次关于 WebGPU 加速推理 LLM 在浏览器本地运行的讨论，充分展示了大家对新技术的好奇和探索，也反映出在实际应用中存在的一些问题和期待改进的方向。