原贴链接

我使用在网上找到的其他提示（主要来自这里）创建了这个提示，并在Gemma 2 27b q_6中得到了出色的答案：1. 你是一个专家级AI助手。2. a. 简要分析问题并概述你的方法。b. 提出一个清晰的解决问题的步骤计划。c. 如果需要，使用“思维链”推理过程，将你的思维过程分解为编号步骤。3. 逐步解释你的推理。4. 对于每个步骤，提供一个标题来描述你在该步骤中所做的事情，并附上内容。5. 决定你是否需要另一个步骤，或者你是否准备好给出最终答案。6. 在每个想法中包含一个部分，你可以在其中：a. 回顾你的推理。b. 检查潜在的错误或疏忽。c. 如果需要，确认或调整你的结论。7. 在部分提供你的最终答案。***我们能否通过本地模型达到博士水平的AI？你有没有特别的本地提示可以分享？

讨论总结

本次讨论主要围绕如何通过优化提示词（prompt）和提升本地模型（local models）的性能，使其达到博士级别（PhD level）的AI水平展开。讨论内容涵盖了提示词设计、模型训练、系统调用等多个方面。参与者们分享了各自的提示词优化技巧，讨论了不同模型在处理相同问题时的表现差异，并探讨了如何通过调整提示词和系统参数来提升模型的整体性能。此外，讨论还涉及了模型与提示词之间的匹配度，以及整个系统调用的重要性。总体而言，讨论氛围积极，参与者们分享了许多有价值的见解和实用技巧。

主要观点

  1. 👍 需要一个提示词排行榜来比较不同系统提示的效果

    • 支持理由：通过比较不同提示词的效果，可以更好地理解哪些提示词更适合特定的模型，从而提高模型的整体性能。
    • 反对声音：部分参与者认为，仅仅基准测试模型本身可能不再那么有用。

  2. 🔥 使用特定的提示结构可以显著提升本地模型的回答质量

    • 正方观点：提示结构应包括思考部分、反思部分和最终输出部分，使用标签（如、、）来组织回答内容。
    • 反方观点：有评论者认为，强制未训练的模型使用特定标签可能对模型来说晦涩难懂，建议使用markdown格式。

  3. 💡 通过在关键步骤上给予模型指导，较小的模型也能达到博士水平的表现

    • 解释：模型越简单，所需的指导就越多，但通过在关键步骤上给予模型指导，即使是较小的模型（如Llama 8b）也能达到博士水平的表现。

  4. 🌟 使用“决定”等词汇会让模型显得过于拟人化，应使用“讨论”等更符合模型本质的词汇

    • 解释：语言模型是词预测器，生成词是其主要功能，提示词设计应推动模型更全面地进行书面推理。

  5. 🚀 通过优化推理代理可以提升小型模型的性能

    • 解释：使用混合代理和特定技术可以在某些情况下超越当前最先进的模型性能，分享了一个包含多种优化技术的GitHub项目链接。

金句与有趣评论

  1. “😂 We need a prompts leaderboard ! ☺”

    • 亮点：提出了一个创新的想法，通过排行榜来比较不同提示词的效果，有助于提升模型性能。

  2. “🤔 Great job at making good prompting.”

    • 亮点：对作者在制作提示词方面的努力表示肯定，强调了提示词设计的重要性。

  3. “👀 “链式思维”提示方法并非魔法，而是可以通过设计实现。”

    • 亮点：强调了通过精心设计的提示词来提升模型性能的可行性，消除了对“魔法”的迷信。

  4. “😅 Let’s start the closed source downvoting game, shall we? lol Let’s bury the information!”

    • 亮点：以幽默的方式表达了对讨论可能遭遇负面反应的担忧，增加了讨论的趣味性。

  5. “💡 Open source LLMs need a prompts leaderboard because it is the only way to improve the output from the same models.”

    • 亮点：强调了提示词共享的重要性，认为这是提升模型输出质量的关键。

情感分析

讨论的总体情感倾向较为积极，参与者们分享了许多有价值的见解和实用技巧。主要分歧点在于提示词设计和模型训练的具体方法，部分参与者认为强制未训练的模型使用特定标签可能对模型来说晦涩难懂，建议使用markdown格式。此外，对于本地模型是否能达到博士级别AI水平，部分参与者持怀疑态度，认为当前仍存在许多障碍。

趋势与预测

  • 新兴话题：提示词优化和模型训练的具体方法，以及如何通过系统调用来提升模型性能。
  • 潜在影响：通过优化提示词和提升本地模型性能，有望在特定领域实现更高水平的AI应用，推动AI技术的进一步发展。

详细内容：

标题：关于小型模型的巧妙提示能否达到博士水平的热烈讨论

在 Reddit 上，一则题为“ Ingenious prompts for smaller models: reaching PhD level with local models?”的帖子引发了广泛关注。该帖提出了一系列精心设计的提示，旨在从本地模型中获取卓越答案，例如在 Gemma 2 27b q_6 中使用的复杂提示。此帖获得了众多的回复和讨论。

讨论的焦点主要集中在以下几个方面： 有人认为需要建立一个提示排行榜，通过对同一查询的多个系统提示进行基准测试，并根据人类偏好改进。也有人指出某些提示可能更适合某些模型。还有用户分享了具体的提示内容和在不同模型中的效果。

比如，有用户提供了一个特定的提示格式，并详细阐述了其各个部分的作用。但也有用户表示某些提示在特定模型中效果不佳，如在 Gemma2:9b 中就出现了错误回答。

有人分享了关于编程任务的图片，详细描述了其主题、视觉元素、情感氛围等方面。还有用户就提示的修改和适用情况进行了交流，认为 ChatGPT 修正后的提示有其特点。

对于是否能通过提示让小型模型达到博士水平，观点不一。有人认为只要在关键步骤给予模型引导，即使是较简单的模型也能接近博士水平；但也有人对此持怀疑态度，认为目前大多数语言模型的智商远低于 100，推理部分还很欠缺，距离实现 AGI 还面临诸多障碍。

在讨论中，有人认为提示并非是神经符号超级武器，但有助于从模型中挖掘更多数据，提高效率。同时，关于提示的格式和标准，也存在不同的看法，有人认为应采用 markdown 格式，也有人认为目前缺乏统一的标准语法。

总之，这场关于小型模型提示的讨论充满了多样性和争议，为模型的优化和应用提供了丰富的思考角度。