原贴链接

我有3090显卡，正在使用LM studio，想找到最不会回避问题或自我审查的模型。有很多选择，目前被认为最好的是哪个呢？

讨论总结

原帖作者拥有3090显卡（24GB VRAM）并使用LM studio，想要寻找最无审查的模型，即不会回避问题或自我审查的模型。评论者们针对此需求积极推荐了多种模型，如Orenguteng、Lexi 3.0、Mistral Small 22b quants、Mixtral、Nvidia - Mistral合作的模型、Nous Llama 7b/8b、Dolphin Mixtral 2.5、Mixtrals Umbral Mind 0.3、Qwen QwQ、Hermes 3 llama 3.1 70b等，并阐述了这些模型的相关特性，包括是否存在审查情况、上下文长度、下载量、内存占用等。同时还提到了一些如rope scaling算法、提示（prompt）的重要性、模型的主观因素以及人类对模型的调整等观点，也有部分评论者提出了自己在使用模型过程中的疑惑或根据原帖延伸出的新问题。

主要观点

  1. 👍 推荐Orenguteng模型
    • 支持理由：针对原帖需求推荐。
    • 反对声音：该模型存在审查情况且会改进。
  2. 🔥 推荐Mistral Small 22b quants适配24gb vram
    • 正方观点：能较好地适配24gb，可被引导做需要的事，有不受限的微调版本。
    • 反方观点：无。
  3. 💡 符合要求的模型很多，提示（prompt）在这个过程中作用显著
    • 解释：指出模型选择多且提示在使用模型时是重要因素。
  4. 💡 对原帖主寻找无审查模型应明确使用目的提出疑问
    • 解释：认为应明确使用无审查模型的目的。
  5. 💡 推荐Lexi 3.0有较好的效果和较高的下载量
    • 解释：介绍其8k上下文且能成功扩展到16K以及下载量超100万次的特点。

金句与有趣评论

  1. “😂 You can also check the leaderboard: [https://huggingface.co/spaces/DontPlanToEnd/UGI - Leaderboard]”
    • 亮点：提供可查看模型排行榜的链接。
  2. “🤔 Yah it can happen some times especially with lower quants. Will eventually relaese an improved version, been busy lately with other projects.”
    • 亮点：提及模型存在审查情况并会改进。
  3. “👀 If you are happy with 8k context and even rope scaling successfully to 16K you can try the Lexi 3.0 which has insanely good results and been downloaded over 1 mil times.”
    • 亮点：介绍Lexi 3.0的优势。
  4. “😂 Mistral Small 22b quants fit nicely into 24gb and it can generally be nudged to do what you need it to do.”
    • 亮点：阐述Mistral Small 22b quants适配24gb vram且可被引导。
  5. “🤔 Dime a dozen dude.”
    • 亮点：表达符合要求的模型数量很多。

情感分析

总体情感倾向是积极的，大家都在积极分享自己知道的模型信息以帮助原帖主。主要分歧点在于不同模型的推荐理由以及对于无审查模型的一些理解，如无审查模型是否可用于性相关内容。可能的原因是大家对不同模型的使用体验和需求不同，以及对于无审查的界定存在差异。

趋势与预测

  • 新兴话题：可能会进一步讨论不同模型在不同使用场景下的具体表现以及如何根据特定需求选择最适合的无审查模型。
  • 潜在影响：对人工智能模型的使用者在选择模型时提供更多参考依据，促使模型开发者更多地考虑审查机制与用户需求之间的平衡。

详细内容：

标题：关于 24GB VRAM 最无审查模型的热门讨论

在 Reddit 上，有一个关于寻找适用于 24GB VRAM 且最无审查模型的热门帖子引起了众多关注。该帖子的作者拥有 3090 显卡，正在使用 LM 工作室，希望尝试找到不会回避问题或自我审查的最佳模型。此帖获得了大量的互动，评论数众多。

讨论的焦点主要集中在各种推荐的模型以及相关的技术特点和使用体验。有人提到[https://huggingface.co/Orenguteng]，还提供了相关的排行榜链接[https://huggingface.co/spaces/DontPlanToEnd/UGI-Leaderboard]。有人尝试了 Orenguteng 后表示仍存在一些审查，但可以绕开并继续使用。还有人推荐 Lexi 3.0 称其效果极佳且下载量超过 100 万次。

有人分享道：“我使用了 Mixtrals Umbral Mind 0.3 模型，感觉非常无审查。” 还有用户表示：“使用了海豚 Mixtral 2.5，但它有点老旧且需要一些内存，大概 34GB 左右。”

关于技术方面，有人提问什么是 rope scaling，得到的回答是它能通过一些算法扩展上下文长度，通过谷歌能找到很多相关文章或视频。有人提到 llama 3.1/3.2 本身就有很长的上下文长度。

讨论中也不乏有趣或引发思考的观点，比如“我猜他们要拿它来进行性相关的操作”“秘密配方的蟹堡”。

整个讨论中，大家各抒己见，对于如何选择无审查模型以及模型的性能和特点进行了深入的交流。但也有人提出质疑，比如询问想要模型进行何种无审查的内容。

通过这场热烈的讨论，可以看出大家对于寻找适合自己需求的无审查模型充满热情和探索精神。但同时，也需要注意在追求技术应用的过程中遵循相关的法律法规和道德规范。