原贴链接

我注意到一些较新的版本，如llama-3.1和mistral large，有这种倾向，会接收你的输入，总结它，重写后反馈给你，同时添加很少的实质内容。

一个可能的交流过程如下：

用户：“我现在工作压力真的很大。我真希望能休息一下，去一个美丽的地方旅行。”

AI：“听起来你因为工作感到有些疲惫，需要一些放松。你想去哪里旅行呢？”

显然，这非常烦人，使得自然对话变得困难，因为你只是被反射回自己。这是否来自我可能错过的新论文，因为它似乎正在蔓延。甚至云模型也开始这样做。在character.ai上发现了这一点，现在听说GPT4和claude也有这种情况。

Perplexity立即将其归咎于DPO，但我使用过几个DPO模型，并没有出现这种问题。

你见过这种情况吗？它是从哪里来的？如何通过提示来应对它？

讨论总结

Reddit用户广泛讨论了新发布的AI模型（如llama-3.1和mistral large）在对话中倾向于总结和重写用户输入的现象。这种行为被认为使得对话变得不自然，因为用户感觉只是在被自己说的话反射回来。讨论涉及了这种现象的可能起源，包括模型优化方向、特定技术更新或论文的影响。用户们寻求通过调整系统提示和模型配置来改善这种行为，同时也提出了对模型在创造性任务上表现的测试需求。总体上，讨论反映了用户对AI模型对话质量的关注和对更自然交互的期望。

主要观点

  1. 👍 AI模型在处理用户输入时过于简化，缺乏实质性回应。
    • 支持理由：这种现象使得对话变得不自然，用户感觉像是在和自己的镜像对话。
    • 反对声音：一些用户认为这可能是模型优化方向的问题，特别是那些专注于数学、多语言、事实性和多指令任务的排行榜。
  2. 🔥 新模型主要是指令模型，而非聊天模型，需要明确要求才能进行正常对话。
    • 正方观点：用户需要明确告诉模型如何表现，即设定其角色。
    • 反方观点：大多数用户没有尝试告诉大型语言模型如何表现，即设定其角色。
  3. 💡 用户建议应该测试这些大型模型在创造性任务上的表现。
    • 解释：通过创造性任务的测试，可以评估模型是否能够提供更有深度和实质性的回应。

金句与有趣评论

  1. “😂 DeepWisdomGuy：I think there is a drawback to optimizing models for leaderboards that focus on math, multilingual, factuality, multishot instructions, etc..”
    • 亮点：指出了模型优化方向可能存在的问题。
  2. “🤔 Healthy-Nebula-3603：New models are instruction models not a chatt ones.”
    • 亮点：强调了新模型与传统聊天模型的区别。
  3. “👀 Bitter-Raisin-3251：This is so true. Most of people (I know or red about their experience here or similar) didn’t even try to tell LLM how to behave (set his role).”
    • 亮点：指出了用户在使用大型语言模型时的一个常见误区。

情感分析

讨论的总体情感倾向是关注和寻求解决方案。用户普遍对AI模型在对话中的表现感到不满，认为模型过于简化用户输入，缺乏实质性回应。主要分歧点在于这种现象的起源，以及如何通过提示和配置来改善模型的行为。可能的原因包括模型优化方向、特定技术更新或论文的影响。

趋势与预测

  • 新兴话题：用户对AI模型在创造性任务上的表现测试需求可能会引发后续讨论。
  • 潜在影响：改善AI模型的对话质量可能会对用户体验和AI技术的应用产生积极影响。