原贴链接

我很久以前就听说过它们，最近又听到了，但似乎还没有任何成果。

讨论总结

这是一个关于1 - bit LLMs何时会真正启动（如果会的话）的讨论。参与者从多个角度进行分析，包括微软等大公司的动作、硬件需求、模型训练的成本与难度、模型性能等，大家的观点有乐观、有悲观，也有持观望态度的，整体氛围是理性地在探讨1 - bit LLMs的发展前景。

主要观点

  1. 👍 微软推出推理引擎或为证明1 - bit LLMs可行
    • 支持理由：微软推出推理引擎这一行为暗示其对1 - bit LLMs可行性的探索。
    • 反对声音：无。
  2. 🔥 1 - bit LLMs成功与否不确定
    • 正方观点：主流LLMs自GQA之后架构改变不大，1 - bit LLMs面临技术挑战，所以不确定。
    • 反方观点：无。
  3. 💡 1 - bit LLMs的启动可能依赖特殊硬件的创建
    • 解释：目前训练仅理论高效，实际需要特殊硬件，特殊硬件创建有助于1 - bit LLMs启动。
  4. 🤔 大公司投资是证明1 - bit LLMs技术的关键但不确定是否会发生
    • 解释：要证明这项技术需要大量资金投入训练，大公司是否愿意投入未知。
  5. 😕 1 - bit LLMs可能存在失去灵活性的明显缺点
    • 解释：如模型大小与设备容量不匹配时难以解决，为不同尺寸单独训练模型成本很高。

金句与有趣评论

  1. “😂 I hope somebody does because my 8gb vram card is making me cry every night 😅”
    • 亮点：以诙谐的方式表达出8GB显存显卡运行相关内容的困难，侧面反映出对1 - bit LLMs发展的期待。
  2. “🤔 Kind of a coinflip IMO.”
    • 亮点：形象地表达出对1 - bit LLMs成功与否的不确定性。
  3. “👀 Actually, given how negative results typically don’t get published, it’s entirely possible that some of big player already did train a small 1 bit model with like 1B or 3B parameters from ground up, found no meaningful improvements over classic fp16, and silently abandoned the idea without notifying anybody.”
    • 亮点：提出大公司可能已暗中尝试小模型但因无改进而放弃的独特观点。
  4. “😏 Microsoft might help push this, if they see some good results from early trial TPUs as that would give them a big boost in performance.”
    • 亮点：指出微软在特定情况下可能推动1 - bit LLMs发展的动力来源。
  5. “🤨 If performance would be similar to standard bf16 models that would be totally worth it.”
    • 亮点：阐述了1 - bit LLMs值得发展的性能标准。

情感分析

总体情感倾向较为中性，主要分歧点在于1 - bit LLMs是否能成功启动以及其发展前景。部分人看好其发展，认为有大公司推动、成本降低等因素可能促使其发展；而另一部分人则持悲观态度，认为存在技术难题、缺乏足够动力等问题。可能的原因是大家从不同的专业角度（如硬件、软件、商业投资等）以及个人对技术发展的预期差异来考虑这个问题。

趋势与预测

  • 新兴话题：微软下一代模型（如Phi）若提供bitnet - 量化版本对1 - bit LLMs发展的影响。
  • 潜在影响：如果1 - bit LLMs能够成功发展，可能会改变当前大公司在AI硬件投入（如减少对英伟达GPU的依赖）、本地AI的发展模式（如更多本地小任务推理）等方面的格局。

详细内容：

标题：关于 1 位 LLM 何时能真正兴起的热门讨论

在 Reddit 上，一篇题为“当你认为 1 位 LLM 会真正兴起，如果有的话？”的帖子引起了广泛关注。该帖子目前已获得了众多的评论和讨论。

帖子主要探讨了 1 位 LLM 的发展前景，以及它是否能在未来真正流行起来。讨论的方向主要集中在以下几个方面：大公司如微软、英伟达、Meta 等在这一领域的可能动作，1 位 LLM 对硬件和算力的要求，以及其在实际应用中的表现和潜在问题。

讨论焦点与观点分析： 有人认为，微软发布推理引擎可能表明其有意推动 1 位 LLM 的发展，甚至可能是为了将 Copilot LLM 的计算能力转移到消费者硬件上。比如有人说：“Supposedly, from what I have read a while ago, Microsoft have plans to relocate the computing power for their Copilot LLM to consumer’s hardware in the future. Perhaps this interference engine might be the first step towards this goal, paving the way for the deployment of their soon to be released 1 - bit models on regular user’s hardware.” 也有人认为，AMD 和高通在 AI PC 方面的表现暗示了本地推理对于 Copilot 的重要性，硬件制造商也会为此提供支持。 但也有不同的声音，有人指出当前的 Copilot 表现不佳，不值得信赖，比如有人说：“Doesn’t matter where copilot runs. It’s garbage in the current state. You can’t trust it and always have to double check. That means you can do it yourself in the first place.” 还有人认为 1 位 LLM 可能存在训练成本高、性能不如标准模型等问题。例如：“Actually, given how negative results typically don’t get published, it’s entirely possible that some of big player already did train a small 1 bit model with like 1B or 3B parameters from ground up, found no meaningful improvements over classic fp16, and silently abandoned the idea without notifying anybody.”

在讨论中，也有一些共识，即 1 位 LLM 的发展仍存在诸多不确定性。特别有见地的观点是有人提到微软在某些方面的工作显示并非总是需要大量参数，对于一些特定任务，小型模型配合传统量化方法效果良好。

总之，关于 1 位 LLM 的未来发展，Reddit 上的讨论呈现出观点的多样性和复杂性，其能否真正兴起仍有待观察。