原贴链接

https://v.redd.it/moxcv2q8ffkd1/DASH_1080.mp4?source=fallback

讨论总结

本次讨论主要聚焦于Phi-3.5-mini模型在浏览器中的运行情况，包括性能表现、硬件需求、隐私保护以及用户体验。参与者讨论了不同硬件配置下的运行速度，从高性能的桌面电脑到移动设备如Steam Deck和iPhone 15 Pro Max。同时，也有用户报告了在不同浏览器和操作系统上遇到的问题，如标签页崩溃、错误信息等。此外，讨论中还涉及了对模型性能的赞赏和不满，以及对帖子内容实用性的质疑。

主要观点

  1. 👍 硬件配置对模型性能的影响
    • 支持理由：不同硬件配置下，模型的运行速度差异显著，高性能硬件如4090/7950x3d/96gb ram可以实现较高的生成速度。
    • 反对声音：移动设备如Steam Deck和iPhone 15 Pro Max在运行模型时遇到挑战。
  2. 🔥 浏览器和操作系统的兼容性问题
    • 正方观点：在Chrome Android上尝试加载模型时，标签页崩溃；Firefox和Firefox Nightly浏览器出现错误。
    • 反方观点：在配备3090显卡和5800x处理器的PC上，Edge浏览器性能仅为38 Tok/s；在T480笔记本上的Linux系统中无法加载模型。
  3. 💡 模型在浏览器中运行的隐私保护优势
    • Phi-3.5模型可以在浏览器中完全本地运行，增强隐私保护。
  4. 🤔 对模型性能的赞赏和不满
    • 赞赏：对Phi-3.5-mini模型在浏览器中的运行速度表示赞赏。
    • 不满：Phi-3.5-mini模型性能不佳，评论者对其表现感到失望。
  5. 🌟 帖子内容的实用性疑问
    • 帖子内容缺乏详细信息，视频展示内容不具特殊性，评论者对帖子内容的实用性表示怀疑。

金句与有趣评论

  1. “😂 What hardware did you use to get those speeds?” - 亮点：评论者对实现高速度的硬件配置表示好奇。
  2. “🤔 For reference, this is just under 1.9 tokens per second on a run of the mill corporate laptop.” - 亮点：评论者提供了模型在普通公司笔记本电脑上的性能数据。
  3. “👀 A few days ago, Microsoft released Phi-3.5, their latest series of small language models.” - 亮点：评论者提到了微软最新发布的小型语言模型。
  4. “😒 ‘MS’ AI sucks.” - 亮点：评论者对微软AI技术的不满表达。
  5. “🤯 mac m1 16 gig, 11 tokens/sec. then browser tab crashed.” - 亮点：评论者报告了在Mac M1上运行模型时的性能问题和浏览器崩溃情况。

情感分析

讨论的总体情感倾向较为复杂，既有对模型性能的赞赏和好奇，也有对性能不佳和兼容性问题的失望和不满。主要分歧点在于不同硬件和浏览器环境下模型的表现，以及对帖子内容实用性的质疑。可能的原因包括硬件性能的限制、浏览器兼容性问题以及对模型实际应用性能的期待。

趋势与预测

  • 新兴话题：可能引发后续讨论的新观点包括更多关于模型在不同硬件和浏览器环境下的性能表现，以及如何优化模型以提高运行效率。
  • 潜在影响：对相关领域或社会的潜在影响包括提高用户对隐私保护的意识，以及推动浏览器和硬件厂商优化兼容性，提升用户体验。

详细内容：

标题：Phi-3.5-mini 在浏览器中的运行速度引发Reddit热议

Phi-3.5-mini 能在浏览器中基于 WebGPU 运行，速度约为每秒 90 个令牌，相关视频链接为：https://v.redd.it/moxcv2q8ffkd1/DASH_1080.mp4?source=fallback 。此帖引发了众多讨论，点赞数和评论数众多。

讨论焦点主要集中在不同硬件配置下的运行速度差异。有人提到在普通的公司笔记本电脑上，速度约为每秒 1.9 个令牌。有人指出微软不久前发布了 Phi-3.5，由于其尺寸小，能在浏览器中本地运行，这对隐私是一大优势，还提供了相关的演示链接：

有人表示“在浏览器中本地运行”意义不大，关键还是运行它的机器硬件。例如，有人使用 4090/7950x3d/96gb 内存的配置，生成 305 个令牌用了 16.29 秒，速度约为每秒 18.73 个令牌。还有人用 RTX3080、Edge 浏览器和旧 Xeon，GPU 使用率约 30%，速度约为每秒 31.84 个令牌。也有人称用 Ollama，在 2x3090/7950X3D/64@6000MTs 的配置下，速度约为每秒 117 个令牌；用 WebGPU 版本，速度约为每秒 68.74 个令牌。

不同用户在各种硬件配置下的运行速度差异较大。有人在 Windows 10、RTX 3080 的配置下能达到 64 个令牌每秒；有人的 Steam Deck 约为 12 个令牌每秒，但网页演示无输出；有人的 iPhone 15 Pro Max 加载模型到一半就放弃了；还有人用 Mac M1 16G 配置，速度约为每秒 11 个令牌，浏览器标签还崩溃了，且占用了 4G 内存。

讨论中也有一些负面评价，有人认为 Phi-3.5-mini 很糟糕，也有人觉得微软的 AI 不行。同时，还有人遇到了诸如无法加载模型、浏览器标签崩溃等问题。

总的来说，关于 Phi-3.5-mini 在浏览器中的运行表现，大家看法不一，硬件配置对其运行速度的影响是讨论的核心，但目前仍存在一些有待解决的问题和不满意的声音。