原贴链接

最近我重新开始研究本地大型语言模型（LocalLLMs），一直在寻找我能找到的最佳的未审查大型语言模型（LLM）。尝试了Gemma 3和Mistal，甚至其他Abliterated QwQ模型。但这里提到的这个特定模型是最棒的。如果有任何人感兴趣的话，我这里有Ollama的网址：https://ollama.com/huihui_ai/qwq-abliterated:32b - Q3_K_M。运行该模型时，要确保运行温度（Temperature）设置为0.6，TopP设置为0.95，MinP设置为0，topk设置为30，可能需要调整存在惩罚（presence penalty）来避免重复（在0 - 2之间）。显然，当设置为推荐的最高值2时，这可能会对性能产生负面影响，我的设置为0。一定要增加上下文长度！Ollama默认是2048，这对于推理模型来说是不够的。我必须在OpenWebUi中手动设置这些才能得到好的输出。我喜欢它的原因：这个模型似乎没有被洗脑。思维链知道我在问一些比较隐晦的问题，但仍然会回答。它不会像给出模糊信息那样委婉拒绝。它可以根据你的要求尽可能详细。它也非常有逻辑性，必要时还能使用生动的语言。这是个非常好的模型，你们都应该试试。

讨论总结

原帖作者推荐huihui - ai/QwQ - 32B - abliterated模型并分享Ollama网址与运行参数，评论者们从多个方面展开讨论。有补充模型资源链接的，有讨论模型采样器的，有对模型进行性能测试和比较的，也有单纯表示感谢或推荐其他模型的，整体氛围比较积极和谐，大家都围绕着模型相关话题展开交流。

主要观点

  1. 👍 原帖作者推荐huihui - ai/QwQ - 32B - abliterated模型
    • 支持理由：模型不“洗脑”，能回答敏感问题，回答详细且逻辑性强，语言生动
    • 反对声音：无
  2. 🔥 xor_2认为huihui - ai / QwQ - 32B - abliterated模型在长上下文长度下有性能下降情况
    • 正方观点：经过测试得出结论
    • 反方观点：尚未有确切的基准测试来完全确定
  3. 💡 a_beautiful_rhind不喜欢使用top_K采样器
    • 支持理由：top_K只是将输出限制在前30个标记，min_P和XTC方式更好
    • 反对声音：无
  4. 🤔 评论者针对原帖提到的参数设置，认为Top P和Top K值情况下温度可设为0并建议仅用温度和最小概率这两个参数
    • 支持理由：根据原帖给出的参数设置得出
    • 反对声音：无
  5. 😎 评论者以自身情况推荐Snowdrop merge模型
    • 支持理由：适合角色扮演、比较智能、思维不臃肿、容易驾驭
    • 反对声音：无

金句与有趣评论

  1. “😂 Chromix_: imatrix GGUFs here: [https://huggingface.co/bartowski/huihui - ai_QwQ - 32B - abliterated - GGUF/tree/main](https://huggingface.co/bartowski/huihui - ai_QwQ - 32B - abliterated - GGUF/tree/main)”
    • 亮点：补充了原帖模型的相关资源链接
  2. “🤔 Yea but all it does is restrict your outputs to the top 30 tokens. I rather take off tokens from the bottom with min_P and strike top tokens with XTC.”
    • 亮点：阐述了不喜欢top_K采样器的理由
  3. “👀 我对这个模型和基础QwQ 32B做了一些测试，我的发现是它确实显示出一些性能下降。”
    • 亮点：给出了对模型性能测试的结果
  4. “😎 Have you tried the snowdrop merge? It’s great for RP and still pretty smart.”
    • 亮点：推荐Snowdrop merge模型并给出理由
  5. “😊 Hui Hui is the goat.”
    • 亮点：简单直接地表达对Hui Hui的正面评价

情感分析

总体情感倾向为积极。主要分歧点在于对huihui - ai / QwQ - 32B - abliterated模型性能的看法，如在长上下文长度下是否真的性能下降，可能的原因是缺乏全面的基准测试以及不同的硬件条件和使用场景。

趋势与预测

  • 新兴话题：可能会有更多关于Snowdrop merge模型的讨论或者对不同模型在角色扮演方面的比较。
  • 潜在影响：如果对模型性能的讨论深入，可能会影响用户对这些模型的选择，也可能促使开发者进一步优化模型。

详细内容：

标题：关于 Uncensored huihui-ai/QwQ-32B-abliterated 模型的热门讨论

近期，在 Reddit 上有一个关于 Uncensored huihui-ai/QwQ-32B-abliterated 模型的热门帖子引起了大家的关注。该帖子介绍了这个模型，并提供了相关的链接，如：https://ollama.com/huihui_ai/qwq-abliterated:32b-Q3_K_M 。此帖获得了众多点赞和大量评论，引发了热烈的讨论。

讨论的焦点主要集中在该模型的性能表现、参数设置以及与其他模型的比较等方面。有人认为，运行该模型时，需要设置特定的参数，如 Temperature=0.6、TopP=0.95、MinP=0、topk=30 等，同时要注意调整 presence penalty 以避免重复。有人分享道：“当我使用这个模型时，按照这些参数设置确实能获得较好的输出。”

关于模型的性能，有人指出它在某些方面存在一定的性能退化，比如在较长的上下文长度下回答某些问题可能不准确。例如，有用户表示：“我对这个模型和基础的 QwQ 32B 进行了测试，发现它在一些情况下表现不佳。”但也有人认为在较短的上下文长度下表现良好。

在比较方面，有人提到 Huihui 的融合模型，如[https://huggingface.co/huihui - ai/DeepSeekR1 - QwQ - SkyT1 - 32B - Fusion - 811](https://huggingface.co/huihui - ai/DeepSeekR1 - QwQ - SkyT1 - 32B - Fusion - 811) ，并认为这种融合的方式可能对模型有较好的效果。

此外，还有人讨论了不同量化方式对模型性能的影响，以及不同模型在特定场景下的表现。有人提到：“Q3KM 可能比 Q4KM 更好，虽然不知道具体原因。”

总的来说，关于 Uncensored huihui-ai/QwQ-32B-abliterated 模型的讨论十分丰富和深入，大家从不同角度对其进行了分析和评价。但对于该模型是否是最佳的选择，还没有达成完全的共识。