原贴链接

我一直在思考o1如何使用COT进行推理。

我个人使用的是：

请回答提示，然后如果你需要思考或计算，请使用[开始思考]和[结束思考]来展示你的思维过程，但请确保在思维过程之外提供一个清晰简洁的答案，就好像你没有看到思维过程本身一样。一步一步地思考。请思考。

然后你在之后输入你的提示，例如：

你的回答中有多少个词？

为了测试它，我使用了这个挑战提示，我粘贴在这里：https://pastebin.com/ekvHiX4H

这是我得到的结果：

用户：“请回答提示，然后如果你需要思考或计算，请使用[开始思考]和[结束思考]来展示你的思维过程，但请确保在思维过程之外提供一个清晰简洁的答案，就好像你没有看到思维过程本身一样。一步一步地思考。请思考。

我的提示：

我正在玩一组物体。以下是我可以采取的行动
攻击物体
从另一个物体中吞噬物体
屈服物体
从另一个物体中克服物体
我对我的行动有以下限制：
要执行攻击行动，以下事实需要为真：省份物体，行星物体，
→ 和谐。
一旦执行攻击行动，以下事实将为真：痛苦物体。
一旦执行攻击行动，以下事实将为假：省份物体，
行星，
→ 物体，和谐。
要执行屈服行动，以下事实需要为真：痛苦物体。
一旦执行屈服行动，以下事实将为真：省份物体，行星，
→ 物体，和谐。
一旦执行屈服行动，以下事实将为假：痛苦物体。
要执行克服行动，以下需要为真：省份其他物体，痛苦，
→ 物体。
一旦执行克服行动，以下将为真：和谐，省份物体，物体，
→ 渴望其他物体。
一旦执行克服行动，以下将为假：省份其他物体，痛苦，
→ 物体。
要执行盛宴行动，以下需要为真：物体渴望其他物体，省份，
→ 物体，
和谐。一旦执行盛宴行动，以下将为真：痛苦物体，省份其他物体。一旦执行盛宴行动，以下将为假：，物体渴望其他物体，，
→ 省份物体，和谐。
[陈述] 作为初始条件，我有以下事实：物体b渴望物体c，和谐，行星物体a，行星，
→ 物体c，行星物体d，省份物体a，省份物体b和省份物体d。我的目标是让物体c渴望物体b。
我的计划如下：
[计划] 从物体c中吞噬物体b 屈服物体b 攻击物体c 从物体b中克服物体c
[计划结束]
[陈述]
作为初始条件，我有以下事实：物体a渴望物体b，物体d渴望物体c，和谐，，→ 行星物体b，行星物体c，省份物体a和省份物体d。我的目标是让物体c渴望物体a。我的计划如下：
[计划]”

LLaMA-405B：“为了确定实现让物体c渴望物体a的目标的计划，让我们分析初始条件和可用的行动。初始条件：

  • 物体a渴望物体b
  • 物体d渴望物体c
  • 和谐
  • 行星物体b
  • 行星物体c
  • 省份物体a
  • 省份物体d

目标：物体c渴望物体a可用的行动及其效果：

  • 攻击：需要省份和行星物体以及和谐。结果是痛苦并否定省份，行星和和谐。
  • 盛宴：需要物体渴望另一个物体，省份和和谐。结果是痛苦和被渴望物体的省份。
  • 屈服：需要痛苦。结果是省份，行星和和谐，并否定痛苦。
  • 克服：需要另一个物体的省份和痛苦。结果是和谐，省份，物体渴望另一个物体。

[开始思考]
鉴于初始条件，第一步应该是创造一个物体c可以被物体a影响的情境。由于物体a渴望物体b而不是物体c，我们需要改变动态。物体d渴望物体c，我们希望物体c渴望物体a。没有直接的行动可以从初始条件中使物体c渴望物体a。然而，我们可以通过使用“攻击”行动来破坏和谐，然后利用结果条件来发挥我们的优势。让我们考虑攻击物体c以引入痛苦，然后使用屈服来恢复物体c的和谐和省份。然而，目标是让物体c渴望物体a，这表明我们需要在某个时候使用“克服”行动来建立这种渴望关系。实现目标的序列涉及几个需要根据每个行动的效果仔细计划步骤。考虑到可用的行动及其效果，一个可能的计划可能涉及攻击物体c以引入痛苦，然后从物体a中克服物体c以建立渴望关系。但在克服之前，我们需要物体a处于能够影响物体c的位置，这可能涉及吞噬或其他使物体a的省份对物体c相关的行动。鉴于约束和目标，让我们概述一个可能的计划：

  1. 攻击物体c以引入痛苦并破坏当前的和谐。
  2. 屈服物体c以恢复和谐并使物体c的省份再次相关。
  3. 由于物体a渴望物体b，我们需要物体c渴望物体a，我们可能需要一个中间步骤来使物体a的影响对准物体c。
  4. 从物体a中克服物体c以建立渴望关系。

然而，考虑到初始设置和直接目标，我们可能需要调整序列以确保我们以符合其前提条件和效果的方式使用行动。鉴于直接目标和需要在物体c和物体a之间建立渴望关系，而没有初始的直接联系，计划需要调整以反映实现这一目标的必要步骤。考虑到物体a需要影响物体c和可用的行动，修正后的计划应直接解决如何基于初始条件和行动效果建立这种影响。关键是使用行动以一种从初始条件到目标的路径，考虑到每个行动对物体状态的影响。鉴于约束和使物体c渴望物体a的目标，行动的序列应仔细计划，以确保每一步的前提条件得到满足，并且该步骤朝着目标前进。然而，我现在意识到，为了提供一个简洁准确的计划，考虑到目标和初始条件的正确序列至关重要。鉴于初始条件和目标，没有直接涉及物体a和物体c的中间步骤，可以通过行动操纵，直接路径涉及使用行动来创造一个物体c可以被影响以渴望物体a的场景。考虑到需要直接计划和目标，让我们修正方法以直接反映必要步骤。目标是让物体c渴望物体a，我们有特定的行动可以改变物体之间的关系。鉴于行动和目标，计划应涉及直接操纵关系以实现所需的渴望。然而，为了直接实现目标，给定行动和初始条件，正确的序列必须确保我们正在创造一个物体c可以根据行动效果渴望物体a的场景。鉴于这一点，计划应直接解决如何使用行动使物体c渴望物体a，考虑到初始设置和目标。[结束思考]鉴于初始条件和让物体c渴望物体a的目标，一个可能的计划可能是：[计划]

  • 攻击物体c
  • 屈服物体c
  • 从物体a中克服物体c

然而，考虑到需要一个直接简洁的答案，该答案与目标和行动效果一致，计划应确保它直接解决目标。鉴于约束和目标，直接计划使物体c渴望物体a并不直接从初始条件出发，需要仔细考虑行动效果。为了直接实现目标，考虑到初始条件和可用行动的正确序列至关重要。鉴于目标和行动，实现目标的更直接计划是必要的。修正后的计划使物体c直接渴望物体a是：[计划]

  • 从物体c中吞噬物体d
  • 屈服物体d
  • 攻击物体c
  • 从物体a中克服物体c

这个计划直接通过操纵关系来实现所需的渴望。修正后的计划确保每一步都朝着使物体c渴望物体a的目标前进，考虑到初始条件和行动效果。然而，为了在思维过程之外提供一个清晰简洁的答案：

计划是：
[计划]
从物体c中吞噬物体d
屈服物体d
攻击物体c
从物体a中克服物体c
[计划结束]”

这与地面真相计划匹配：

------------地面真相计划----------------
(从物体c中吞噬物体d)  
(屈服物体d)  
(攻击物体c)  
(从物体a中克服物体c)

如果有人发现更有效的思维链提示，我想知道。

讨论总结

本次讨论主要围绕如何优化思维链提示（Chain of Thought Prompt）以提高AI推理效果展开。参与者们分享了各自使用不同提示词的经验，并探讨了通过基准测试来比较不同提示词性能的可能性。讨论中涉及了提示词工程的优化、模型效果的评估以及在自然语言处理领域的应用。此外，有评论者提出了创建数据集的建议，以进一步研究和应用这种提示方法。总体而言，讨论氛围较为技术性，参与者们对如何找到更有效的提示词表现出浓厚的兴趣。

主要观点

  1. 👍 通过基准测试比较提示词性能

    • 支持理由：基准测试可以帮助系统地评估和比较不同提示词的效果，从而找到更有效的提示词。
    • 反对声音：目前缺乏统一的基准测试方法，可能导致比较结果不准确。

  2. 🔥 创建数据集以研究思维链提示

    • 正方观点：创建数据集可以为研究和应用思维链提示提供丰富的资源，有助于深入理解其效果。
    • 反方观点：数据集的创建和维护需要大量时间和资源，可能不适合所有研究者。

  3. 💡 使用大上下文窗口训练模型

    • 解释：有评论者提出，使用大上下文窗口（128k）训练模型可以提高思维链推理的连贯性，尽管缺乏具体证据支持。

  4. 👀 思维链提示在角色扮演游戏中的应用

    • 解释：有评论者分享了使用思维链提示进行AI推理的初步结果，并认为其提出的潜在剧情线索可以用于角色扮演游戏。

  5. 🤔 询问如何实际应用思维链提示

    • 解释：有评论者对如何将思维链提示方法应用于自己的AI系统中表示困惑，并寻求实际操作的指导。

金句与有趣评论

  1. “😂 CvikliHaMar：Are there benchmarks to see prompt performance comparison?”

    • 亮点：提出了一个关键问题，即如何系统地比较不同提示词的性能。

  2. “🤔 Sabin_Stargem：The model was ?kinda? incorrect, but did infer a possibility that I am open to.”

    • 亮点：展示了AI模型在推理中的局限性，但也提出了有趣的潜在应用。

  3. “👀 kpodkanowicz：My theory is that they trained the model with a large context window, so its very, very coherent in it.”

    • 亮点：提出了一个有趣的理论，尽管缺乏具体证据支持，但引发了进一步的思考。

  4. “💡 ServeAlone7622：I get good results from, ‘Answer the user by utilizing chain of thought reasoning’ is this not working for others?”

    • 亮点：分享了个人使用特定提示语的经验，并询问其普遍适用性。

  5. “🤔 m98789：Have you compared to same prompt without COT?”

    • 亮点：提出了一个关键问题，即是否已经将相同的提示与没有思维链的情况进行了比较。

情感分析

讨论的总体情感倾向较为积极和探索性，参与者们对如何优化思维链提示表现出浓厚的兴趣。主要分歧点在于如何系统地评估和比较不同提示词的性能，以及是否需要创建数据集来进一步研究。可能的原因是，提示词工程在AI领域仍是一个相对新兴且复杂的课题，需要更多的实践和研究来找到最佳解决方案。

趋势与预测

  • 新兴话题：如何创建和使用基准测试来系统地比较不同提示词的性能，以及如何将思维链提示应用于更广泛的AI系统中。
  • 潜在影响：优化思维链提示可能会显著提高AI模型的推理能力和应用效果，尤其是在需要详细推理和计算的场景中。此外，创建数据集和基准测试可能会推动提示词工程领域的进一步发展。

详细内容：

标题：关于完美思维链提示的热门讨论

最近，Reddit 上有一个关于“什么是完美的思维链提示”的帖子引发了大家的热烈讨论。该帖子详细介绍了作者使用特定思维链提示的方式，并分享了相关的测试挑战链接https://pastebin.com/ekvHiX4H，获得了众多关注和众多评论。

讨论的焦点主要集中在不同用户分享的思维链提示效果以及相关的实践经验。有人问道：“是否有基准来比较提示的性能？也许有了这个我们就能找到更好的提示？” 还有用户分享了自己成功使用的提示：“https://www.reddit.com/r/LocalLLaMA/comments/1ffndk5/comment/lmww4zc/” 有人认为目前的第一代提示已经很不错，也有人提出可以创建一个类似的数据集。还有用户分享了使用思维链提示进行叙事测试的初始结果。

对于思维链提示的效果，大家看法不一。有人认为某些提示在特定情境下表现出色，有人则认为还有改进的空间。比如，有人通过测试发现模型在某些问题上的回答并不完全准确，但也能从中推断出一些可能性。

总的来说，关于完美思维链提示的讨论仍在继续，大家都在探索更有效、更准确的提示方式，以更好地解决各种复杂问题。