原贴链接

https://huggingface.co/EVA-UNIT-01/EVA-Qwen2.5-32B -v0.0

讨论总结

整个讨论围绕Qwen相关模型展开，包含Qwen 32B的微调模型、Qwen 2.5指令版等。大家分享了对不同版本模型的使用体验，如模型的写作风格、连贯性、是否存在重复问题等，还有人提到自己创建了基于qwen 2 32b的讲故事框架，以及对模型缓存相关的技术咨询，整体讨论氛围比较轻松、平和，讨论热度不高。

主要观点

  1. 👍 寻找专注于RP的Qwen微调模型时发现此资源并打算尝试
    • 支持理由：刚想找就看到了这个资源，所以打算尝试
    • 反对声音：无
  2. 🔥 该模型相比Command - r能赋予角色更强个性
    • 正方观点：在角色扮演中角色个性表现上更胜一筹
    • 反方观点：无
  3. 💡 这是第一个Qwen 32B讲故事的微调版本
    • 解释：评论者表示这是其所知的第一个这样的版本
  4. 💡 利用qwen 2 32b创建了讲故事的AI框架，对此感到兴奋
    • 解释：创建者对自己创建的框架有尝试的热情
  5. 💡 模型在基础模式下微调没问题，但不擅长多轮聊天
    • 解释：通过使用体验得出模型在不同场景下的表现情况

金句与有趣评论

  1. “😂 Whoa weird, I literally just came on to search for an RP focused Qwen finetune. Definitely gonna try this out!”
    • 亮点：非常巧合地发现自己想要的资源，表现出惊喜的情绪
  2. “🤔 I haven’t done any kind of extensive testing but so far I like it’s writing style a lot.”
    • 亮点：虽然未深度测试，但已对模型写作风格表示喜爱
  3. “👀 It’s given characters stronger personality than Command - r, which I have been using for long RP stories.”
    • 亮点：通过与之前使用的模型对比，突出该模型在赋予角色个性方面的优势
  4. “🤔这是我所知的第一个Qwen 32B讲故事的微调版本。”
    • 亮点：提供了关于Qwen 32B微调版本的信息
  5. “😎我创建了一个用于讲故事的AI框架，使用qwen 2 32b，我超级兴奋地想要尝试这个，你能在GGUF中使用它吗?”
    • 亮点：表达创建框架的兴奋心情并提出相关疑问

情感分析

总体情感倾向比较积极正面，大家主要是分享自己对模型的使用体验、成果或者好奇之处。主要分歧点在于对模型性能方面的看法，例如模型是否存在故障、在多轮聊天中的表现等，这可能是由于不同用户的使用场景和测试程度不同所导致的。

趋势与预测

  • 新兴话题：创建的讲故事AI框架的后续展示可能引发后续讨论。
  • 潜在影响：如果模型的性能问题如重复等得到改善，可能会提高其在相关应用场景中的使用效率，对AI讲故事、角色扮演等领域有积极推动作用。

详细内容：

标题：新的 Qwen 32B 全微调用于角色扮演/故事讲述：EVA 引发热烈讨论

在 Reddit 上，一篇关于“New Qwen 32B Full Finetune for RP/Storytelling: EVA”的帖子引起了众多用户的关注。该帖子提供了相关的链接：https://huggingface.co/EVA-UNIT-01/EVA-Qwen2.5-32B-v0.0 。此帖获得了大量的互动，评论众多，主要围绕着这一新模型的使用体验和性能展开了热烈讨论。

讨论焦点与观点分析：

有人表示自己刚想搜索用于角色扮演（RP）的 Qwen 微调模型，就看到了这个，肯定要尝试一下。有人说虽然还没进行广泛测试，但很喜欢它的写作风格，认为它赋予角色的个性比之前使用的 Command - r 更强，会持续进行角色扮演直到更高的上下文（50k+）来观察其表现。

有用户提到一些 exl2/gguf 量化已经上线，并指出该模型在 60K 令牌时保持连贯，运行 4bpw 并带有 Q6 缓存，这很有趣，因为 Qwen 2.5 指令在没有 YaRN 的情况下不是很连贯，甚至 Qwen 32 基础版在超过一定点时似乎会混淆单词，而这个模型仅训练了 8K。有人好奇如何能达到 60K 令牌，回答是用于长故事、短篇小说或其节选，对大量文档或大型知识集合提问等。

有人创建了一个使用 qwen 2 32b 进行故事讲述的整个 AI 框架，非常期待尝试这个新的微调模型，还讨论了能否在 GGUF 中获取。有人对模型页面上因输出降级不建议使用 kv 缓存提出疑问，得到回答称可能是针对 llama.cpp，对于使用不同 kv 缓存量化方法的 exllama 不一定适用。

有人质疑这个模型是否有问题，因为 14b 模型会重复，回答称自己测试时没问题，有些模型确实是不好的“起始”模型，基础 Qwen 2.5 往往会重复。有人说开启基础模式表现一般，不擅长多轮聊天，还有人表示在快速测试中，随着上下文大小增加，该模型会越来越多地重复，直到陷入无法摆脱的困境。

总的来说，大家对新的 Qwen 32B 全微调模型既有期待也有担忧，不同用户的使用体验存在差异，还需要更多的测试和探索来充分了解其性能和适用场景。