原贴链接

嘿，大家好！现在你们可以使用Unsloth对Llama 3.3 (70B)进行高达90,000上下文长度的微调，这比Hugging Face + FA2在80GB GPU上支持的6,900长13倍。1. 新的超长上下文支持比Unsloth之前的版本长1.85倍。它利用了我们的梯度检查点技术，并且我们与苹果公司合作引入了他们新的Cut Cross Entropy (CCE)算法。2. 对于Llama 3.1 (8B)，Unsloth现在可以做到高达342,000的上下文长度，这超过了Llama 3.1原生支持的128K上下文长度。HF + FA2在80GB GPU上只能做到28,000，所以Unsloth支持的上下文长度是其12倍。3. 你们可以使用我们的Google Colab笔记本尝试新的Llama 3.1 (8B)超长上下文支持。4. HF+FA2在8GB GPUs上会内存不足，而Unsloth支持的上下文长度从1,500提升到了2,900。5. 70B模型现在可以适配41GB的显存 - 将近40GB，这很惊人！6. 如果你不知道的话，我们已经在Hugging Face上上传了包括GGUFs、4bit、16bit版本的Llama 3.3版本。7. 你可以在这里阅读关于新变化的深度博客文章：https://unsloth.ai/blog/llama3-3。

讨论总结

原帖分享了Llama 3.3 (70B)的微调成果，如90K上下文长度、适配小于41GB的VRAM等。评论者大多对这些成果表示认可、感谢并惊叹，整体氛围积极。同时，评论中存在大量技术探讨，包括对Unsloth功能细节、模型在特定硬件（如特定显卡、Mac设备）上的运行情况、技术操作方法（如如何运行bnb）、训练数据的选择等多方面的疑问。

主要观点

  1. 👍 认可原帖中的成果并对相关人员表示感谢
    • 支持理由：原帖展示了Llama 3.3 (70B)在微调方面的成果，如长上下文支持和VRAM适配等，评论者认为这些成果很棒，感谢相关人员的努力。
    • 反对声音：无。
  2. 🔥 Unsloth在微调方面为大众做出了很大贡献
    • 正方观点：Unsloth以独特方式向大众开放了微调功能，利用如梯度检查点技术等节省GPU内存。
    • 反方观点：无。
  3. 💡 对70b模型在特定硬件上的运行情况表示疑问
    • 解释：评论者针对70b模型在如2x4090显卡、Mac设备等硬件上的运行情况，包括是否可行、存在的问题、需要的条件等提出疑问。
  4. 🌟 关注Unsloth技术细节
    • 解释：如询问Unsloth是否支持多GPU工作、是否支持完全微调或持续预训练、是否限制在单GPU使用等。
  5. 🤔 在模型微调时面临训练数据的抉择
    • 解释：在对llama 3.2模型微调时，不确定是否应在训练数据中包含负面对话，阐述了包含和不包含的利弊。

金句与有趣评论

  1. “😂 koalfied - coder：This is rad thank you for your hard work.”
    • 亮点：简洁地表达了对原帖成果的认可并感谢相关人员的努力。
  2. “🤔 Y’all are proof that no matter how much I think I know about LLMs, there is always someone out there who knows far, far, far more =D”
    • 亮点：幽默地表达出在LLMs领域总有知识更渊博的人。
  3. “👀 Educational_Rent1059: Not surprised anymore amazing work!!!! as always 🙏”
    • 亮点：用“not surprised anymore”强调成果的一贯优秀。
  4. “😎 Iirc, increasing rank increases VRAM usage right? Which rank were these tests done at? Awesome work again guys!”
    • 亮点：既提出技术疑问又肯定团队工作。
  5. “💥 What does "do" mean in this context? What does Unsloth "do" to the model?”
    • 亮点：对文中概念提出疑问，引发后续解答。

情感分析

总体情感倾向为积极，大部分评论者对原帖提到的成果表示认可、感谢、惊叹等积极态度。主要分歧点较少，主要集中在技术方面的疑问和探讨上，例如Unsloth的功能细节、模型在不同硬件上的运行情况以及训练数据的选择等，这是由于原帖是关于技术成果的分享，引发技术爱好者对相关技术深入了解的需求。

趋势与预测

  • 新兴话题：对Unsloth功能细节（如是否支持多GPU、完全微调等）、模型在更多特定硬件上的运行情况以及在特定项目场景中的应用可能性可能会引发后续讨论。
  • 潜在影响：如果这些技术成果能进一步完善并推广，可能会对大型语言模型的微调、训练以及在不同硬件上的应用产生积极影响，促进相关领域的发展。

详细内容：

标题：Llama 3.3（70B）的优化与创新在Reddit引发热议

最近，Reddit上一篇关于Llama 3.3（70B）优化的帖子引起了众多用户的关注。该帖子获得了大量的点赞和评论，主要讨论了Llama 3.3（70B）在Unsloth平台上的一系列创新和改进。

帖子介绍了Llama 3.3（70B）现在可以通过Unsloth进行高达90,000的上下文长度的微调，并且能够在小于41GB的VRAM上运行。还提到了对于Llama 3.1（8B），Unsloth能够实现高达342,000的上下文长度，远超其他平台的支持。同时，用户可以通过Google Colab notebook尝试新的Llama 3.1（8B）超上下文长度支持，并提供了相关的链接和表格详细介绍了不同版本的Llama 3.3。

讨论的焦点主要集中在以下几个方面： 有人对这一技术创新表示惊叹和感谢，认为Unsloth为大众打开了微调的新大门。 一些用户询问是否能在特定的显卡配置上运行，比如在双4090显卡、双3090显卡、Mac M4 Pro等设备上运行，以及是否支持多GPU等问题。有人认为Unsloth在节省成本方面表现出色，还有人对如何缩小模型、是否支持苹果设备、能否在特定的内存配置下运行等问题表示关注。 例如，有用户分享道：“作为一名在技术领域探索多年的爱好者，之前为了训练模型在显卡配置上费了不少功夫。现在看到Unsloth的这些新特性，感觉看到了新的希望。” 也有用户提供了相关的新闻报道链接：https://arxiv.org/abs/2411.09009，进一步支持了某些观点。

讨论中的共识在于大家对Unsloth的创新给予了肯定，认为其为模型的优化和应用带来了更多可能性。 特别有见地的观点是关于Unsloth所采用的优化方法，如梯度检查点和苹果的Cut Cross Entropy算法，能够有效地节省内存和提高性能。

然而，也存在一些争议点。比如对于是否应该在训练数据中包含不良对话的讨论，不同用户持有不同的看法。

总的来说，这次关于Llama 3.3（70B）在Unsloth上的优化讨论，展示了技术创新带来的机遇和挑战，也反映了用户对于更高效、更便捷的模型应用的期待。