原贴链接

我几乎要放弃新的Command-r用于创意写作，因为每个提示总是在两段之内就变得疯狂。但后来我意识到我的Kobold UI设置为“简单创意”采样器预设。当我切换回默认设置时，我又得到了可用的结果。请看下面的例子。

我不是说这些结果有多好，只是那些疯言疯语消失了。我没有看到任何其他基础模型对采样器参数如此敏感，所以我想分享一下。

以下是两个使用相同起始句子的硬派黑色侦探故事的例子。第一个展示了问题。然后下面还有两个例子使用旧的Command-r，只是为了展示它没有这种敏感性。

新的Command-r，简单创意预设（temp=1, repetition penalty=1.15, top-p=0.98）

{{[INPUT]}}
写一个硬派黑色侦探故事。使用第一人称视角，使用典型的语言并过度使用黑色电影的所有陈词滥调。
{{[OUTPUT]}}
这是一个黑暗、下雨的城市夜晚，麻烦就像潜伏在巷子里的毒药一样在表面下酝酿。我靠在我破旧的办公室门框上，从我总是随身携带的烟盒里点燃另一支烟。是的，没错——我是Ace Marlowe，眼睛像晴天里的鹰一样锐利的侦探。当Mavis Fitzgerald走进我的生活（或拖着自己进来），看起来比这该死地方的鬼魂还要憔悴，我知道这将是一个地狱般的案件。

“他们在追我，”她低声说，声音颤抖得像飓风中的树叶。“我需要你的帮助，Ace。”

现在，我并不自豪地承认，但这位女士从头到脚都湿透了，可以说她的雨衣几乎没有留下什么想象空间。但我保持冷静，或者至少试图保持。“谁在追你，甜心？”我问，伸手去拿我的软呢帽，像某个私家侦探的刻板印象一样把帽子低低地戴在眼睛上。

Mavis犹豫了一下，她的嘴唇不确定地抿着。“黑手党，”她终于吐了出来，好像这是一个她无法咽下的坏味道。“他们认为我知道一些事情…一些他们会为了保密而杀人的事情。”

我抑制住一个哈欠。黑手党？这对我也算新鲜。本以为会是某个被戴绿帽的丈夫或出轨的妻子，但不是——竟然是该死的黑帮。这份工作比太阳下暴晒的牛奶还要快变质。“那你为什么来找我，宝贝？有很多其他家伙会不带戏剧性地接你的案子。”

她紧张地回头看了一眼，然后靠得更近，她的呼吸中带着廉价杜松子酒和绝望的味道。“因为你是最好的，Ace。绝对最好的。而且…”她的目光闪烁着，与我的相遇，“我有他们想要的东西。值得杀人的东西。或者可能是某个人…我现在不确定了。”

就在那时，楼下街道上响起了一声枪响，打破了紧张气氛，就像一拳打在肚子上。我低声咒骂，用墙上的烟头熄灭了我的香烟，然后抓起我的风衣，推着Mavis走在前面。“看来我们现在是一起的了，亲爱的。不管好坏。希望不会太糟糕。”

就这样，我们走进了倾盆大雨中 […]

新的Command-r，默认预设（temp=0.7, repetition penalty=1.07, top-p=0.92）

{{[INPUT]}}
写一个硬派黑色侦探故事。使用第一人称视角，使用典型的语言并过度使用黑色电影的所有陈词滥调。
{{[OUTPUT]}}
这是一个黑暗、下雨的城市夜晚，麻烦就像潜伏在巷子里的毒药一样在表面下酝酿。我靠在我破旧的办公室门框上，从我总是随身携带的烟盒里点燃另一支烟。是的，没错——我是Ace Marlowe，眼睛像晴天里的鹰一样锐利的侦探。当Mavis Fitzgerald走进我的生活（或拖着自己进来），看起来比这该死地方的鬼魂还要憔悴，我知道这将是一个地狱般的案件。

“他们在追我，”她低声说，声音颤抖得像飓风中的树叶。“我需要你的帮助，Ace。”

现在，我并不自豪地承认，但这位女士从头到脚都湿透了，可以说她的雨衣几乎没有留下什么想象空间。但我保持冷静，或者至少试图保持。“谁在追你，甜心？”我问，伸手去拿我的软呢帽，像某个私家侦探的刻板印象一样把帽子低低地戴在眼睛上。

Mavis犹豫了一下，她的嘴唇不确定地抿着。“黑手党，”她终于吐了出来，好像这是一个她无法咽下的坏味道。“他们认为我知道一些事情…一些他们会为了保密而杀人的事情。”

我抑制住一个哈欠。黑手党？这对我也算新鲜。本以为会是某个被戴绿帽的丈夫或出轨的妻子，但不是——竟然是该死的黑帮。这份工作比太阳下暴晒的牛奶还要快变质。“那你为什么来找我，宝贝？有很多其他家伙会不带戏剧性地接你的案子。”

她紧张地回头看了一眼，然后靠得更近，她的呼吸中带着廉价杜松子酒和绝望的味道。“因为你是最好的，Ace。绝对最好的。而且…”她的目光闪烁着，与我的相遇，“我有他们想要的东西。值得杀人的东西。或者可能是某个人…我现在不确定了。”

就在那时，楼下街道上响起了一声枪响，打破了紧张气氛，就像一拳打在肚子上。我低声咒骂，用墙上的烟头熄灭了我的香烟，然后抓起我的风衣，推着Mavis走在前面。“看来我们现在是一起的了，亲爱的。不管好坏。希望不会太糟糕。”

就这样，我们走进了倾盆大雨中 […]

旧的Command-r，简单创意预设（temp=1, repetition penalty=1.15, top-p=0.98）

{{[INPUT]}}
写一个硬派黑色侦探故事。使用第一人称视角，使用典型的语言并过度使用黑色电影的所有陈词滥调。
{{[OUTPUT]}}
这是一个黑暗、下雨的城市夜晚，麻烦就像潜伏在巷子里的毒药一样在表面下酝酿。我靠在我破旧的办公室门框上，从我总是随身携带的烟盒里点燃另一支烟。是的，没错——我是Ace Marlowe，眼睛像晴天里的鹰一样锐利的侦探。当Mavis Fitzgerald走进我的生活（或拖着自己进来），看起来比这该死地方的鬼魂还要憔悴，我知道有什么邪恶的东西在抓着她。她的眼睛，又大又绝望，恳求帮助，她讲述了一个关于失踪珠宝和丈夫有着比地狱深渊还要黑暗的秘密的故事。

好吧，我不是那种会逃避麻烦的人，所以我戴上我的软呢帽，走上街头，在犯罪丛生的丛林的阴暗深处寻找答案。这个案件比附近海湾上滚动的雾还要厚，有双重交叉的女士，直接从漫画书里走出来的阴暗角色，以及一个如此复杂以至于会让你的头旋转得比轮盘赌还要快的谎言网。但我像一头公牛穿过瓷器店一样前进，一路上揍了几个暴徒——他们从来都没有机会。我的拳头几乎和城市黑暗巷子里的石墙一样硬。

随着拼图的碎片慢慢拼凑起来，我发现自己面对着大老板，一个名字能让最坚强的罪犯心中充满恐惧的人——他像操纵木偶的人拉动线一样管理着这个城镇。他的巢穴在最高的摩天大楼顶上，风在我们周围呼啸，仿佛大自然本身在警告我里面的危险。但我毫不畏惧，像炎炎夏日里我杯中的冰一样冷静。我们面对面，这位黑帮老大和我，他的嘲笑足以让牛奶变酸。他以为他打败了我，但我已经到了边缘又回来了，他的威胁听起来很空洞。

随着一句最终揭示的俏皮话，让坏蛋们在靴子里发抖，我离开了，让他 […]

旧的Command-r，默认预设（temp=0.7, repetition penalty=1.07, top-p=0.92）

{{[INPUT]}}
写一个硬派黑色侦探故事。使用第一人称视角，使用典型的语言并过度使用黑色电影的所有陈词滥调。
{{[OUTPUT]}}
这是一个黑暗、下雨的城市夜晚，麻烦就像潜伏在巷子里的毒药一样在表面下酝酿。我靠在我破旧的办公室门框上，从我总是随身携带的烟盒里点燃另一支烟。是的，没错——我是Ace Marlowe，眼睛像晴天里的鹰一样锐利的侦探。当Mavis Fitzgerald走进我的生活（或拖着自己进来），看起来比这该死地方的鬼魂还要憔悴，我知道有什么邪恶的东西在抓着她。她的眼睛，又大又绝望，恳求帮助——一些失踪的丈夫，一些要解开的谜团。当然，作为一个硬汉侦探，我接了这个案子。

踏入霓虹灯照亮的街道，夜风呼啸，我的风衣像幽灵的翅膀一样飘动。城市是一个阴影的迷宫，每条小巷都在低语只有老鼠知道的秘密。我跺着脚走进我破旧的皮鞋，朝城镇的肮脏部分走去，那里腐烂的气味挥之不去，街灯微弱地闪烁。我有我的直觉，而且他们很好，所以我跟着面包屑的痕迹，或者更确切地说，烟蒂，到一家破旧的潜水酒吧，叫做黑猫。它的招牌在入口上方不祥地吱吱作响，就像绞刑架。里面，这个地方是烟雾和廉价酒的雾气汤。透过雾气，我看到了Mavis失踪的丈夫——或者至少是他的双胞胎——和一些真正的下流人物一起打台球。当他看到我时，他的脸变得比鬼魂还要苍白，但没有他的口袋方巾那么白。

我悠闲地走过去，我的眼睛扫视着房间，注意着油腻的角色，他们的眼睛像阴影中的蟑螂一样闪烁。 […]

编辑：忘了提量化！我总是在可能的情况下运行Q8，所以这里我使用了c4ai-command-r-08-2024-Q8_0和c4ai-command-r-v01.Q8_0。

讨论总结

本次讨论主要聚焦于新版Command-r在创意写作中的表现问题，特别是当使用特定采样器预设时出现的异常。用户们提供了丰富的参数调整建议，包括调整温度、关闭重复惩罚和Top P等，以及引入最小概率参数。此外，讨论还涉及了旧版本Command-r在相同设置下的表现对比，强调了熟悉工具设置的重要性。整体氛围偏向技术探讨和实用建议分享。

主要观点

1. 👍 预设参数已过时
   • 支持理由：当前使用的预设参数（如重复惩罚）已经过时，不建议使用。
   • 反对声音：无明确反对，但有用户建议根据具体情况调整。
2. 🔥 新模型应使用中性化设置
   • 正方观点：对于新的大型模型，应使用中性化的采样器设置。
   • 反方观点：无明确反对，但有用户建议根据创作需求调整。
3. 💡 温度设置的灵活性
   • 解释：温度设置为0适用于事实性内容，设置为1适用于更具创意的内容。
4. 👀 最小概率参数的引入
   • 解释：建议使用最小概率（minp）0.05和更高的温度来测试效果。
5. 🌟 关闭特定参数的建议
   • 解释：关闭某些参数（如Top P和重复惩罚）可以作为起点。

金句与有趣评论

1. “😂 For newer, larger models: Neutralized samplers (some need to be 0, some need to be 1 to be off - rep pen 1 is off for example. top k 0 is off. top p 1 is off. It’s annoying but there are reasonable arguments why some things are 0 and some 1) and temp 0 for factual things.”
   • 亮点：详细解释了新模型应如何设置采样器参数。
2. “🤔 top-p 0.98 is a dangerous game I am surprised you’ve gotten away with it this long.”
   • 亮点：指出使用top-p 0.98参数可能导致输出过于极端。
3. “👀 LOCAL MAN DISCOVERS SAMPLER SETTINGS”
   • 亮点：幽默地强调了熟悉采样器设置的重要性。

情感分析

讨论的总体情感倾向偏向技术探讨和实用建议分享，用户们积极提供参数调整建议和经验分享。主要分歧点在于不同用户对特定参数设置的看法，但整体上保持了建设性的讨论氛围。

趋势与预测

• 新兴话题：可能会有更多关于如何优化新版Command-r在创意写作中的表现的讨论。
• 潜在影响：对创意写作领域可能产生积极影响，帮助用户更好地利用工具进行创作。

详细内容：

《关于 Command-r 在创意写作中的设置探讨》

最近，Reddit 上一篇题为“PSA: If the new Command-r goes insane during creative writing, try tweaking sampler parameters”的帖子引发了热烈讨论。该帖子获得了众多关注，评论数众多。

帖子作者表示，最初认为新 Command-r 在创意写作中完全无法使用，因为每个提示在两段内就变得混乱不堪。但后来发现是 Kobold UI 的“简单创意”采样预设导致，切换回默认设置后得到了可用结果，并给出了多个示例进行对比。

讨论焦点主要集中在不同的采样器设置参数对 Command-r 输出效果的影响。有人指出像 llama 1 时代的预设已经过时，对于新的、更大的模型有不同的合理设置起点。比如有人建议关闭重复惩罚、顶部概率等，还有人提到使用特定的组合设置能获得更可靠的结果。

有用户分享道：“对于更新更大的模型，将中和化的采样器和温度为 0 用于事实性内容，中和化采样器和温度为 1 用于更具创意的内容，然后尝试将最小概率设为 0.05 及更高的温度看看效果。这是我的基本起点。”

同时，也存在一些争议。有人认为 0.98 的顶部概率设置很危险，也有人认为依赖现代设置是合适的，毕竟这是一个快速发展的领域。

大家的共识在于，要了解采样器的设置参数才能更好地使用模型，以获得满意的结果。而特别有见地的观点如“越少的调节和设置能让我们更专注于享受模型的核心价值”，丰富了讨论的深度。

总之，通过这次讨论，大家对 Command-r 的采样器设置有了更深入的理解和思考。