原贴链接

大家好，我是VB，来自Hugging Face的GPU穷人。从今天开始，你可以直接在Ollama中运行来自Hugging Face Hub的私有GGUF了！开箱即用，你只需要将你的Ollama SSH密钥添加到你的配置文件中就可以了。运行私有微调、量化等，拥有相同的旧用户体验。很高兴能让一百多万个小语言模型更接近所有Ollama用户——还有更多好东西正在筹备中！只需要两步：1. 复制你的Ollama SSH密钥，你可以通过cat ~/.ollama/id_ed25519.pub | pbcopy来操作；2. 前往你的账户设置并点击Add new SSH key，将相应的密钥添加到你的Hugging Face账户；3. 就这样！现在你就可以从Hugging Face Hub运行私有GGUF了：ollama run hf.co/{username}/{repository}。详细信息在这里：https://huggingface.co/docs/hub/en/ollama。记住，不是你的权重，就不是你的大脑！期待你的反馈！

讨论总结

原帖宣布可以直接在Ollama中运行来自Hugging Face Hub的私人GGUFs并给出操作步骤。评论者们围绕这个新功能展开讨论，部分人对新功能表示肯定，认为其简化了GGUF加载等操作，还有部分人提出各种疑问，如模型大小限制、是否是新功能、隐私相关问题、功能在不同服务器的支持情况等，也有人对其他用户的疑惑进行了澄清。

主要观点

  1. 👍 认可新功能很不错
    • 支持理由：简化了q2、q3量化下热门和特殊用途模型的GGUF加载，创建了模型相关操作的循环等
    • 反对声音：无
  2. 🤔 关心可使用模型的大小
    • 正方观点：想知道能使用多大模型，虽小模型有用但想了解上限
    • 反方观点：无
  3. 🔥 对新功能（从Ollama直接运行Hugging Face Hub上的私有GGUFs）是否为新出现存在疑问
    • 正方观点：感觉一个月前好像就可以做到
    • 反方观点：强调此次是“私有”方面的新进展
  4. 💡 对新功能中能否使用ZeroGPU和Ollama运行私有模型表示疑惑
    • 解释：对新功能不理解，对Ollama依赖第三方服务有顾虑
  5. 👍 对原帖中的特定表述表示认同
    • 支持理由：原帖提到“Not your weights, not your brain! 🤗”，评论者表示赞同

金句与有趣评论

  1. “😂 那很整洁（不错），但马上出现在我脑海里的问题是……我能使用多大的（模型）呢？”
    • 亮点：认可新功能的同时提出关键疑问
  2. “🤔 You_Wen_AzzHu：Definitely nice to have. Simplified gguf loading for q2 q3s on trending models and special use models 😀 not listed under ollama.”
    • 亮点：简洁地概括了新功能的优点
  3. “👀 vaibhavs10：It also creates a pretty nice loop of fine - tuning your own models or merging, create your own GGUFs and run them all whilst keeping full custody of your models.”
    • 亮点：详细阐述新功能在模型操作方面的好处
  4. “🤔 SAPPHIR3ROS3：Wasn’t already possible since like a month agoo something like that?”
    • 亮点：对新功能的新颖性提出疑问
  5. “👍 Nicely done VB!”
    • 亮点：对原帖作者表示称赞

情感分析

总体情感倾向是积极的，大多数评论者对新功能表示认可或肯定。主要分歧点在于对新功能的理解，如是否是新出现的功能、功能的具体操作方式、涉及的隐私问题等，可能的原因是大家对相关技术知识的掌握程度不同以及对新功能的期望和关注点不同。

趋势与预测

  • 新兴话题：新功能在不同服务器（如solo server）的支持情况、解决Ollama的2k上下文限制问题。
  • 潜在影响：如果这些功能进一步完善和推广，可能会让更多用户使用Ollama来运行私人GGUFs，对自然语言处理模型的使用和发展产生积极影响。

详细内容：

《Ollama 新功能引发 Reddit 热议》

近日，Reddit 上一则关于“在 Ollama 中可直接运行来自 Hugging Face Hub 的私有 GGUFs”的帖子引发了广泛关注。该帖子获得了众多点赞和大量评论。帖子主要介绍了从 Hugging Face Hub 直接在 Ollama 中运行私有 GGUFs 的新功能，包括操作步骤和相关细节，并提供了链接https://huggingface.co/docs/hub/en/ollama。文章将要探讨的核心问题是这一新功能的具体使用限制、对用户的实际意义以及所涉及的隐私问题等。

在讨论中，主要观点包括：有人对能运行的模型大小提出疑问，比如“我能用到多大的模型？能有多贪心？”，有人回应称私人仓库的大小无关紧要，任何大小的仓库都能运行；对于 GGUF 的格式和作用也有讨论，有人指出“GGUF 是模型本身用于 llamacpp 或基于它的任何后端的格式，其文件大小本质上就是权重在内存中所占的空间”；还有人认为这一功能简化了加载流程，比如“简化了热门模型和特殊用途模型的 gguf 加载”。

有人分享个人经历，如“Kaggle/Colab 对于像 <= 8B 这样的小型微调已经足够了，我在家只有 Mac M1 芯片时一直这么做。”

一些有趣或引发思考的观点也层出不穷，比如“这不是一个月前就已经可以了吗？”“为什么要这样做？”

有人对隐私政策和数据保留等问题提出见解，“在私有方面，这是与仓库类型（即私有仓库）有关，还是意味着推理是私有的（即无日志记录）？这在隐私政策中的数据保留等方面处于什么位置？”

讨论中的共识在于大家都对这一新功能表现出了关注和兴趣，不同观点的交流丰富了对这一功能的理解。

总的来说，这一新功能在 Reddit 上引发了热烈讨论，为用户带来了更多便利，但也存在一些疑问和困惑等待进一步的解答和澄清。