原贴链接

我一直在我的iPhone 14 Pro上运行模型，能够在手机上运行模型真是太酷了！我一直在使用pocketpal应用程序来实现这一点，到目前为止它真的非常酷。我是个完全的新手，但我一直在玩得很开心！

我能够运行“Llama-3.1-8B-Lexi-Uncensored_V2_Q4.gguf”文件大小为4.66GB，它可以运行得相当不错，但实际上它完全没有未审查。

还运行了“Phi-3.5-mini-instruct_Uncensored-Q6_K_L.gguf”文件大小为3.18GB，它实际上非常未审查，但它有点傻。

讨论总结

本次讨论主要聚焦于小型未审查模型的选择和使用体验，涵盖了模型推荐、性能比较、系统提示设置、角色扮演应用以及移动设备优化等多个方面。参与者分享了各自的使用经验，推荐了一些表现优秀的模型，并讨论了如何通过系统提示来优化模型表现。此外，还有关于模型智能程度、文件大小和适用性的讨论，以及对未来版本更新的期待。

主要观点

  1. 👍 模型推荐
    • 支持理由：用户推荐了多个排行榜和具体模型，如tiger gemma和gemmasutra，强调了在系统提示中明确模型行为的重要性。
    • 反对声音：部分用户指出某些模型存在性能问题或适用性限制。
  2. 🔥 模型性能与适用性
    • 正方观点：讨论了不同模型的文件大小、智能程度和适用场景，推荐了一些适合角色扮演和写作的模型。
    • 反方观点：有用户指出较小的模型可能不够智能，而较大的模型手机无法运行。
  3. 💡 系统提示与模型行为
    • 解释：强调在系统提示或角色卡片中明确模型行为的重要性，以及如何通过预设指令来优化模型表现。

金句与有趣评论

  1. “😂 Use this leaderboard: https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard"
    • 亮点：提供了查找小型未审查模型的实用资源。
  2. “🤔 If you want "smart" models you want 70b+ models…. which your phone can’t run :/”
    • 亮点：指出了模型智能程度与设备兼容性的矛盾。
  3. “👀 Best 8B for RP: Llama 3SOME v2, Stheno 3.4 (slightly better than 3SOME imo)”
    • 亮点：推荐了适合角色扮演的模型，并进行了性能比较。

情感分析

讨论的总体情感倾向较为积极，多数用户对小型未审查模型的探索和使用持支持态度。主要分歧点在于模型的性能和适用性，部分用户对某些模型的表现和兼容性表示担忧。

趋势与预测

  • 新兴话题：未来可能会有更多关于模型量化和移动设备优化的讨论。
  • 潜在影响：小型未审查模型的普及可能会推动相关应用场景的发展，如角色扮演和写作辅助工具的优化。

详细内容：

标题：当前最佳的小型无审查模型探讨

在 Reddit 上，有一个关于当前最佳小型无审查模型的热门讨论。该帖子由一位在 iPhone 14 Pro 上运行模型并乐在其中的用户发起，他提到了自己尝试过的一些模型，如“Llama-3.1-8B-Lexi-Uncensored_V2_Q4.gguf”（4.66GB）和“Phi-3.5-mini-instruct_Uncensored-Q6_K_L.gguf”（3.18GB）。此贴获得了众多关注和大量评论。

讨论的焦点集中在各种模型的性能和特点上。有人推荐使用 leaderboard：https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard 。还有人表示对于小型无审查模型，老虎模型如 tiger gemma 很出色，比如“[DontPlanToEnd] 称，如果进行写作或角色扮演，像 gemmasutra、stheno-3.2-abliterated 和 niitama 等都是不错的选择。

“Lexi”的作者[Educational_Rent1059]提醒大家不要运行 Q4 量化版本，因为这会影响模型的某些部分，并表示即将推出更好的版本 3。有用户希望作者能提供 Q4_0_4_4 gguf 的版本 3，认为尽管可能对模型有影响，但能大幅提高生成速度是值得的。

有人提到最小的是 gemmasutra mini 2b（约 1.23GB 大小，Q2）。还有人认为 9b 的 tiger gemma 表现不错，是最无审查的模型之一。也有用户对比了不同大小和类型的模型，如 8B、12B、27B 等，认为 27b 模型更智能。

有人推荐了如 Llama 3SOME v2、Stheno 3.4 等用于角色扮演的 8B 模型，以及用于各种任务的 12B 模型 Mistral NeMo。此外，还有诸如 wizardlm-2-7b-abliterated:Q4_K_M 、Q5 版本的 lexi 等被提及。

在这场讨论中，大家各抒己见，分享自己的使用经验和见解，为寻找最佳的小型无审查模型提供了丰富的参考。但对于哪个模型才是真正的最佳选择，目前仍存在争议，这取决于用户的具体需求和使用场景。