我感到很矛盾。背景：我在带有Oobabooga WebUI的3090设备上运行safetensors版本。一方面，这个模型是自我检查的好方法。另一方面……哦，天哪。首先：当它没有相关信息时会毫不羞愧地说谎，尽管声称是为准确性而设计的。举个虚构的例子——我试着问它《我的女神》的情节，它没有说不知道，而是胡编乱造。现在想想看：当在实际编码问题中出现同样的情况时会怎样？最好祈祷它知道答案。其次：它偶尔会在审查方面出错。例如，它试图告诉我nullptr的dynamic_cast会导致未定义行为。第三：如果你让它重构一小段代码……哦，天哪，你最好盯着点。我上次（也是最后一次）让它重构时，它引入了一个看起来很自然但完全错误的重构，这会破坏应用程序。第四：不要相信它能做任何实际工作。它会试图说服你它可以使用protobuf模式和高效算法打包信息……但是下一个会话无法解码结果。真奇怪。有一次我确实设法让它在会话之间发送数据，最后保存并传输……但是……我很快意识到，当我想要传输时，我想要保留的上下文发生了细微的措辞偏差……不得不放弃这些尝试。第五：你无法说服它正确地进行自我检查。一旦出现错误并且你通知它，尤其是当你发现它说谎时，它会承诺会确保准确，但不会。这有点不一致，因为我能够说服它重新验证会话传输数据，这些数据最初在很大程度上已损坏，但在另一个会话中可以读取。但仍然，不能信任它。现在，它确实能根据函数体写出很棒的Doxygen注释，而且只要你有能力辨别它的错误，它在审查函数方面通常表现出色。尽管我有疑虑，但我肯定会积极使用它，因为优点远远超过问题。只是我很矛盾。对我来说，这个人工智能的主要好处是，当你的代码不好时，它会把你推向正确的方向。我从未意识到我需要这样一个容易得到的参谋。偶尔我会向它要代码片段，但很短。它的审查和参谋能力使它很棒。即使我真的想要一个没有所有这些缺陷的东西。而且，它还为我修正了这篇文章中的所有拼写错误。
讨论总结
原帖作者对Qwen2.5 - Coder - 32B - Instruct模型进行了几天的使用后发表了自己的看法，提到模型存在诸如无相关信息时说谎、代码审查出错、重构代码引入错误等问题，但也肯定了其写Doxygen注释和引导代码方向的能力。评论区的讨论话题广泛，包括模型评价方式是否合理、模型设置对性能的影响、该模型与其他模型的比较、不同场景下的使用体验和建议等，整体讨论氛围比较理性。
主要观点
- 👍 原帖对模型的评价方式合理，基于逻辑展示优劣
- 支持理由：从逻辑问题和权重处理展示实际的优劣，符合模型评价帖的要求。
- 反对声音：有观点认为模型评价应包含量化信息。
- 🔥 原帖作者可能操作有误导致模型表现差影响评价有效性
- 正方观点：原帖作者的设置方式可能存在问题，如采用纯Transformer运行方式、4 - bit量化等会降低模型性能。
- 反方观点：原帖作者调整设置后速度提升但行为问题依旧，说明不完全是操作问题。
- 💡 Qwen在本地和开放模型中是“最佳编码模型”，但目前没有开放模型能胜过gpt或claude
- 这一观点基于对不同模型在编码方面的综合考量，认为Qwen在特定范围内是较好的，但整体比不上gpt或claude等。
- 🤔 模型评价应包含量化信息等更多内容
- 量化信息有助于更全面准确地评价模型。
- 👍 原帖即便有问题也能让人们更多了解LLMs及其问题
- 原帖展示了模型存在的实际问题，对人们认识LLMs有帮助。
金句与有趣评论
- “😂 this is exactly how the model review posts should be. actual wins and actual fails, based on logical questions and processing of weights based on logic. thanks.”
- 亮点：高度评价原帖的评价方式，肯定其基于逻辑展示模型的优缺点。
- “🤔 I wouldn’t say it is useless as it could allow people to understand more about LLMs and their problems and allow others to fix potential problems they might be having but might not have known they were fixable problems…”
- 亮点：客观看待原帖存在问题的同时，指出原帖的价值在于帮助人们认识LLMs及其问题。
- “👀 Qwen is "the best coding model" only among local and open models. To date no open model beats gpt or claude, and its unrealistic to expect a 30B model to compete with behemoths which claude and gpt are.”
- 亮点：明确了Qwen在模型中的定位，以及与gpt和claude的比较关系。
- “😉 As the wise man said: it’s not the AI itself that is to be feared, but the person who uses the AI to steal your job.”
- 亮点：从人工智能对人类工作影响的角度提出独特观点，引发思考。
- “🤨 I found it to be okay on the surface, but when you dive down, it’s a lot of garbage that it’s spitting out.”
- 亮点：形象地描述了Qwen2.5 - Coder - 32B - Instruct模型表面和深入探究后的不同表现。
情感分析
总体情感倾向比较复杂。原帖作者对Qwen2.5 - Coder - 32B - Instruct模型持矛盾态度，一方面认可其部分功能，另一方面指出诸多问题。评论者们的情感也各有不同，有的赞同原帖的评价方式，有的则对模型本身或原帖作者的操作等有不同看法。主要分歧点在于模型的实际表现究竟是模型本身的问题还是操作设置的问题，以及原帖的评价是否全面客观。可能的原因是大家从不同的使用场景、技术背景和期望出发看待这个模型。
趋势与预测
- 新兴话题：关于模型量化精度（如6 - bit、8 - bit等）对模型性能影响的讨论可能会引发后续更多关于模型优化的探讨。
- 潜在影响：如果对模型的评价能够更加全面和客观，将有助于开发者和使用者更好地选择适合自己需求的模型，提高工作效率，也会促使模型开发者不断改进模型。
详细内容：
标题：对 Qwen2.5-Coder-32B-Instruct 的深度探讨与争议
最近，Reddit 上关于 Qwen2.5-Coder-32B-Instruct 的讨论十分热烈。原帖作者在使用该模型后感受复杂，此帖获得了众多关注，引发了广泛的讨论。
原帖作者指出，使用该模型时存在一系列问题。比如，在没有相关信息时会撒谎；偶尔审查出错；重构代码可能出错；不能信任其做实际工作；难以正确自我检查等。但同时，该模型也有优点，如能在代码不好时给予正确方向的提示，写 Doxygen 注释出色，审查函数表现较好。
讨论焦点主要集中在该模型的性能表现和使用体验上。有人认为，如果刚接触此场景，需要关注系统提示和采样参数，并尝试不同的模型和参数设置。也有人提到，C++似乎不是大多数模型的优先考虑对象，本地大型语言模型由于硬件限制，往往需要根据特定任务选择合适的模型。
有用户分享了自己的个人经历，如尝试不同方法但未看到明显效果，或者在使用过程中遇到各种问题。
一些有趣或引发思考的观点也不断涌现，比如有人说“不要相信一个大型语言模型说它能做某事，它只是预测可能的下一个 token，如果没有从训练数据中收集到足够数据，它会编造看似合理的内容。”
对于该模型，有人认为它在某些方面表现出色，如为代码提供正确方向，但也有人觉得它存在诸多缺陷，不能完全依赖。总之，关于 Qwen2.5-Coder-32B-Instruct 的讨论仍在继续，大家对其评价褒贬不一，还需要更多的实践和探索来全面认识其性能和价值。
感谢您的耐心阅读！来选个表情，或者留个评论吧！