原贴链接

在研究了像Longwriter这样的努力后，我意识到LLM在纯粹的创意写作练习中并不出色。尤其是在长篇内容上。它们倾向于重复名字、故事、主题等。它们甚至会逐字背诵完全相同的笑话。

我认为这是因为它们在真正创意写作的有限例子上进行了训练。我怀疑由于使用AI生成的合成内容来增加例子的数量，可能也存在一些早期模型崩溃的问题。

我怀疑合成创意的真正问题在于它主要是“基于提示的”。只有那么多方式可以表达，“写一个涉及剑与魔法的奇幻故事”。即使在高温下，写作也并不那么有创意。

需要一种新的方法。

从扩散器的工作方式中得到启示，我决定创建一个“噪声图”的文本。这本质上是遵循关于字形（字母、标点符号、空白等）分布的基本英语规则的随机生成文本。

最终我们得到类似这样的东西

text
Cl itrt hlbn dsm. Drlyash yrnt i, iutrana hltcitasi ahrm eyocl rn hov rau dunt clop nihn tec nenr ghharoa esymnn, eoh oylct saata! Ohasp kotesdtt oshil ssdp beatpnei dil nqab. Eieeaeuo uhs eghh tep unroonlsnv tni isa, ohenore pcen hsr ncoa areioapt yet dvou ts iaech syaeoo. Atiwit elnodhhn rwhn otdheht nf fh rarohm?```

Esnesm siaor gonetmle ofntd ydanei rfrae iaiac. Oin eo hselhbsir kie kolt ninrvterit, eeieorn ermea rftffoe ke. Orth taifw tiesgs ynayny hncigwh, ibers alhrt anro lnsnnn.

然后将这个输出发送到一个LLM，提示类似于，“以下文本是从一个损坏的文本文件中恢复的。我不确定主题内容。我只知道它原本是英语。请尽你所能生成一个未损坏的替换文本”

结果看起来像

text
Claire站在山顶边缘，俯瞰着下面的雾气弥漫的山谷。云层聚集得阴沉沉的，预示着雨水的威胁，她思考着下一步的行动。古老的废墟隐藏在茂密的森林中的某个地方，它们的秘密像海妖的歌声一样召唤着她。她深吸一口气，为自己即将开始的旅程做好准备。

当她沿着陡峭的小径下降时，Claire的思绪飞速运转。如果这些传说是真的呢？她所寻找的文物可以改写历史，或者更糟，落入错误的手中。每一步都让她更接近答案，但也增加了潜伏在阴影中的危险。

这段文本没有GPT的痕迹，它清晰，不感觉机械，并且在我看来给人一种更好的整体创意感觉（显然是一个主观的衡量标准）。

这个想法对我来说很明显，我做了一些研究，但没有找到使用相同技术的任何东西。

我很快就会发布代码和样本。坦白说，它并不那么复杂。

我只是在寻找帮助命名这项技术。我考虑过类似“文本扩散”的东西，因为从技术上讲，它是在潜在空间中寻找文本。但这很随机，也不是高斯噪声，除了说，“盯着这个随机噪声图，告诉我你看到了什么”之外，与真正的扩散技术无关。

任何想法或建议都会很好。如果有人能找到这方面的先例就更好了，因为从我坐的角度来看，这是新的，但它感觉不应该如此。

讨论总结

本次讨论主要聚焦于一种新的文本生成技术，该技术通过创建“噪声图”来生成随机文本，然后将这些随机文本输入到大型语言模型（LLM）中，以生成更具创意和自然感的文本。参与者们对这一技术的创新性和实用性进行了深入探讨，并提出了多种命名建议。讨论中涉及的主要观点包括LLM在创意写作方面的局限性、现有训练数据的限制、以及新技术的潜在优势。此外，参与者们还讨论了如何通过基准测试来优化技术效果，以及这种技术可能对未来创意写作产生的影响。

主要观点

  1. 👍 LLM在创意写作方面存在局限
    • 支持理由：LLM在长篇内容上容易重复使用相同的元素，缺乏真正的创新。
    • 反对声音：有些评论者认为，通过适当的训练和输入，LLM可以产生更具创意的内容。
  2. 🔥 提出的新技术通过生成随机文本提高创意性
    • 正方观点：通过创建“噪声图”生成随机文本，LLM可以产生更自然和创意的输出。
    • 反方观点：有评论者担心这种技术可能会引入不必要的噪声，影响文本质量。
  3. 💡 寻求合适的命名
    • 解释：讨论中提出了多种命名建议，如“NoiseWriter”、“Pseudotext Prompting”等，以更好地描述这一新技术。

金句与有趣评论

  1. “😂 NoiseWriter”
    • 亮点：简洁且直接反映了技术中使用噪声的特性。
  2. “🤔 Pseudotext Prompting”
    • 亮点：准确地描述了技术中使用随机生成文本的过程。
  3. “👀 Generative Text Grafting”
    • 亮点：形象地描述了技术中结合不同文本生成方法的特点。

情感分析

讨论的总体情感倾向较为积极，大多数参与者对新技术的创新性和潜在优势表示了兴趣和支持。然而，也有一些评论者对技术的实际效果和可能的局限性提出了质疑。主要分歧点在于新技术的实际应用效果和是否能够真正提高LLM的创意写作能力。

趋势与预测

  • 新兴话题：如何通过基准测试和优化输入来进一步提高新技术的创意写作效果。
  • 潜在影响：这种新技术可能会对未来的创意写作和文本生成领域产生重要影响，尤其是在提高LLM的创造性和多样性方面。

详细内容：

标题：为创新的文本生成技术寻找合适名称引发的Reddit热议

在Reddit上，一位用户分享了自己关于新的文本生成技术的探索。该用户指出，在研究了像Longwriter这样的努力后，发现大型语言模型（LLMs）在纯粹的创意写作练习中表现不佳，特别是在长文本情境下，存在重复名称、故事和主题等问题。

这位用户提出了一种新的方法，即创建一个遵循基本英语规则的“文本噪点图”，将其发送给LLM，并附上特定提示，得到的结果在创造力方面有更好的表现。然而，目前还在为这个技术寻找合适的名称。此帖获得了众多关注，引发了大量讨论，评论数众多。

讨论的焦点主要集中在技术的名称建议以及对该技术的效果和应用的看法。有人建议“NoiseWriter”，但有人指出这个名字可能已被占用。还有人提出“Pseudotext Prompting”“noise prompting”“prompt diffusion”“Generative Text Grafting”“Q-Sampling”“Text Diffusion”等名称。

对于技术效果，有人认为它很有潜力，能够产生更具创意和独特的文本；但也有人认为其结果仍存在常见的陈词滥调，与普通LLM生成的内容差别不大，甚至质疑其长期效果。

例如，有用户分享道：“作为一名长期研究文本生成技术的爱好者，我亲自尝试了多种方法。在使用这个新技术时，我发现初期效果确实令人眼前一亮，但对于其长期稳定性和广泛适用性，我仍持保留态度。”

同时，大家也对技术的原理和应用提出了各种疑问和思考。比如，如何为每个消息提供可行的噪点？重复使用噪点是否会降低输出质量？

总的来说，这次关于新文本生成技术的讨论展现了Reddit用户对于创新技术的热情和深入思考，但对于技术的名称和效果尚未达成明确的共识。未来还需要更多的实践和研究来进一步验证和完善这一技术。