原贴链接

目前，我想说即使是最好的模型对如何写好文章也只有中等程度的理解。它们在短文写作上表现出色，角色扮演也做得相当好，但在真正的小说创作方面，它们很快就会失去连贯性。自从将近两年前GPT - 3.5问世以来，我们已经取得了很大的进步，但与推理能力方面取得的进步相比，我不禁觉得我们在写好长篇故事能力方面的进步不大。我知道大语言模型的本质以及它们的训练方式使得我所问的这类事情变得困难。我曾希望像o1这样在推理方面有突破的模型，在写作能力上也会有显著提高。正如基准测试以及我个人对o1 - preview的使用所表明的那样，情况并非如此。你认为就目前大语言模型的训练方式而言，这类事情从根本上是无法解决的，还是在这方面还有一些希望呢？

讨论总结

本次讨论围绕大型语言模型（LLM）距离写出好文章还有多远展开。大家从不同角度探讨了LLM在写作方面的表现，如长篇创作存在连贯性不足、缺乏像人类一样的创造力等问题；与人类写作能力对比，人类在高水平写作、传达信念等方面仍有优势；还讨论了LLM写作能力受限的原因，像模型训练目标、缺乏激励、指令调整影响创造力等，也有一些提升写作能力的方法被提及，例如提供更好的写作工具、采用多代理协作等，整个讨论充满了不同的观点和思考。

主要观点

  1. 👍 目前的LLM写作能力超过美国平均水平，但像著名作家那样的高水平写作还得依靠人类
    • 支持理由：LLM能达到一定写作水平，但缺乏像人类著名作家那样的创造力等高层次能力
    • 反对声音：无
  2. 🔥 目前LLMs若有更好写作工具能写得更好
    • 正方观点：当前LLM直接创作有难度，像OpenAI的canvas这类工具是改进的开始
    • 反方观点：有观点认为即使有工具LLM也难以达到高水平写作
  3. 💡 目前的LLM不以创作长篇小说为目标，所以在长篇小说创作上表现不佳
    • 解释：LLM主要为多轮聊天或短篇幅创作优化，缺乏针对长篇小说创作的训练，且存在经济利益不足、长上下文微调成本高等问题
  4. 👍 扩展模型对智能领域的提升有限，故事写作需要通用智能
    • 支持理由：故事写作涉及多种能力如心理理论等，目前模型难以满足
    • 反对声音：有观点认为写作虽涉及多种小技能但LLM一直在缓慢进步，可能不需要通用智能
  5. 💡 目前LLM创意写作缺乏激励是限制其发展的因素
    • 解释：资金更多投入到LLM的其他专长领域，LLM用于创意写作目前是小众应用

金句与有趣评论

  1. “😂 snowglowshow: I just checked and mine does easily. I asked, "Why can’t you write well?", and it replied "well".”
    • 亮点：用诙谐幽默的问答事例来回应关于LLM写作能力的问题，看似简单却引人深思
  2. “🤔 ArsNeph：instruct tuning has killed a lot of its creativity.”
    • 亮点：直接指出指令调整对LLM创造力的负面影响，是对LLM写作能力受限原因的深刻见解
  3. “👀 stuehieyr：We need better architectures for that. Theoretically there are - episodic memory LLMs with multi - decoding heads.”
    • 亮点：提出了从架构方面提升LLM写作能力的理论可能性，为解决问题提供了新的思路
  4. “😂 MoffKalast: Well well well, if it isn’t technically correct, the best kind of correct.”
    • 亮点：以一种调侃又巧妙的方式看待LLM给出的回答，反映出对LLM写作能力评价的多元性
  5. “🤔 Monkey_1505：Story writing requires understanding of how numerous things work. It requires general intelligence.”
    • 亮点：明确阐述故事写作需要多种理解能力，强调了通用智能对故事写作的重要性

情感分析

总体情感倾向为中性偏探讨性。主要分歧点在于对LLM写作能力的评价，一部分人认为LLM已经有一定写作能力且有提升空间，另一部分人则对LLM能否写出好文章持怀疑甚至否定态度。可能的原因是大家对“写好文章”的标准定义不同，以及对LLM技术的理解和期望存在差异。

趋势与预测

  • 新兴话题：利用多代理协作、结合不同模型框架提升LLM写作能力，以及通过非法转录书籍等特殊训练方式提高LLM写作能力。
  • 潜在影响：如果能够提升LLM的写作能力，可能会对创意写作领域产生冲击，改变创作模式，也可能影响人们对文学作品的阅读选择和评价标准；如果LLM写作能力难以提升，可能会促使人们更加重视人类自身的写作能力培养和文学艺术创作的独特性。

详细内容：

《探索 LLM 写作能力的边界：能否创作出优质长篇故事？》

在 Reddit 上，一篇题为“How far are we from an LLM that actually writes well?”的帖子引发了热烈讨论。该帖指出，尽管自 GPT-3.5 问世以来，LLM 在某些方面取得了显著进步，但在长篇故事写作方面的能力提升相对有限，尤其是在连贯性方面。此帖获得了众多关注，引发了大量评论。

讨论焦点主要集中在 LLM 写作能力的现状与未来发展。有人认为当前的 LLMs 若能配备更好的写作工具，写作质量有望提升。比如，像 OpenAI 的 canvas 这类工具就是一个良好的开端。还有人提出，可以通过特定的框架和流程来指导 LLM 进行写作，例如先写大纲、再创建角色描述等步骤。

不同观点之间存在激烈的碰撞。有人觉得 LLMs 由于其设计和训练方式，在写作方面存在难以突破的瓶颈；但也有人坚信，通过改进和创新，LLMs 能够在写作领域取得重大进展。例如，有人设想了一个利用 AI 进行写作的工作流程，包括角色草图、情节规划、初稿创作、纠错和润色等环节。

关于是否能够通过现有的技术和数据实现 LLM 出色的长篇写作能力，存在着较大的争议。有人指出，训练过程中的资源限制，如 VRAM 不足，是一个现实问题。同时，对于如何评估写作质量以及如何满足不同读者的主观喜好，也存在诸多讨论。

特别有见地的观点如，有用户认为 LLMs 不仅需要更大的上下文窗口，还需要更好地理解和模拟人类写作的思维过程，包括规划、逻辑推理和情感表达等。但也有人认为，即使 LLM 能够生成看似不错的作品，在缺乏人类干预和筛选的情况下，要找到真正优秀的作品仍然是一个巨大的挑战。

总的来说，Reddit 上关于 LLM 写作能力的讨论展现了这一领域的复杂性和不确定性。未来 LLM 在写作方面能否取得突破性进展，仍有待进一步的探索和创新。