原贴链接

大家好。我想给你们展示这个有点蠢的项目。https://llminfo.image.fangd123.cn/images/2cls4on27dme1.png!/format/webp这是我的一个有趣的小副业项目，创建一个融合层系统，能让你利用两个模型产生两种结果。它有效吗？哼，我不知道。我已经训练了一整天了。还没有完成呢。但这看起来会很有趣。我的最初想法：我们有混合专家模型（MOE），但为什么不强制一个同时运行的混合专家模型呢？你可能会说“那只是一个效率更低的混合专家模型”。错！这个系统允许结果的交叉影响。通过利用两个大型语言模型（LLM）的标记化以及交叉影响，你可能会得到分裂大脑的结果，模型可能会产生分歧，你会得到两个完全不同的结果。或者你可以给一个模型指令只遵循这些规则，而给另一个模型请求或者“命令”。这可能会导致一个“无法获取”的系统提示，因为模型1会简单地影响模型2的结果。或者同时进行两个对话。不知道啊，我还没有完成呢。代码在这里：[https://github.com/alientony/Split - brain](https://github.com/alientony/Split - brain)。当我有模型可以测试的时候会给出推理代码。#免责声明 下面是人工智能辅助写作的内容，因为我想让这个内容更有趣、更专业，而不是表达得很差，只有一半人能理解。#多模型融合架构：技术解释 #架构概述 这个双解码器架构代表了一种通过增强交叉注意力融合来利用多个预训练语言模型（PLM）的新方法。该架构将两个不同的基础模型（这里是Qwen和Llama）组合成一个统一的系统，实现协同推理和专门处理。#关键组件 #1. 基础模型封装 该架构保留两个独立的基础模型，每个模型都有自己的原始参数空间：* 模型1（Qwen）：在其原生隐藏维度空间处理输入序列* 模型2（Llama）：在自己的参数空间独立处理输入 这些模型在不同的GPU上运行以最大化内存效率和计算并行性。#2. 交叉注意力融合层 核心创新在于实现双向交叉注意力的EnhancedFusionLayer：模型1→[查询1]→关注→[键2/值2]←模型2模型2→[查询2]→关注→[键1/值1]←模型1这个机制允许每个模型有选择地关注另一个模型的表示，本质上在两个原本独立的神经架构之间创建了一个通信通道。交叉注意力操作定义为：* Context1_2：模型1关注模型2后的表示* Context2_1：模型2关注模型1后的表示这些是使用具有数值稳定缩放因子的缩放点积注意力计算的。#3. 维度对齐 由于基础模型在不同维度下运行，架构包括：* 投影矩阵（proj1，proj2）将两个模型的隐藏维度对齐到公共融合维度* 内部神经转换通过线性投影在表示空间之间映射#4. 门控机制 一个复杂的门控机制控制模型之间的信息流：* Sigmoid门（gate1，gate2）决定每个模型应包含多少信息* 这创建了一个自适应加权系统，可以根据任务优先考虑一个模型的贡献#5. 多输出头系统 三个不同的预测头提供专门的输出：* 融合语言模型头：基于组合表示生成预测* 语言模型头1：为模型1的词汇表优化生成预测* 语言模型头2：为模型2的词汇表优化生成预测#6. 任务分类逻辑 一个集成的任务分类器确定输入是否代表：* 单任务模式：给两个模型相同的提示（协作）* 多任务模式：不同的提示（专门处理）#训练方法 系统使用多目标训练方法，结合来自不同预测头的损失：* 在单任务模式下，融合表示获得更大的权重（强调协作）* 在多任务模式下，专门的头获得更大的权重（强调专门化）梯度累积处理内存限制，而混合精度（FP16）训练实现高效计算。#推理模式 在推理期间，generate_dual方法实现：1. 两个模型同时生成响应2. 基于自适应温度的可配置参数采样3. 两个解码器的结束序列（EOS）处理#架构优势1. 涌现能力：交叉注意力机制允许模型在处理过程中共享信息，可能实现超出任何一个模型独立能力的涌现能力。2. 计算效率：通过将模型分布在不同的GPU上，架构实现了减少内存压力的并行计算。3. 任务灵活性：系统可以在协作模式（相同提示）和专门模式（不同提示）下运行。4. 参数效率：只有融合组件需要训练，而基础模型保持冻结，显著减少了可训练参数的数量。这个架构代表了一种超越简单集成方法的先进模型融合方法，在保留不同基础模型各自优势的同时实现了深度集成。

讨论总结

原帖作者介绍了一个创建融合层系统以利用双模型产生双结果的项目，包括项目的多模型融合架构、关键组件、训练方法等内容。评论者们态度多样，有表示感兴趣、赞同的，也有提出疑问和质疑的。大家在模型融合相关的多个方面展开了讨论，如模型词汇表处理、融合层工作原理、项目与模型合并的关系、项目对精神分裂症研究的潜在贡献等。

主要观点

  1. 👍 对原帖项目表示感兴趣或赞同
    • 支持理由：原帖项目有很多有趣的可能性，如利用双模型产生双结果等
    • 反对声音：无
  2. 🔥 标记器在模型融合中的相关特性
    • 正方观点：标记器在模型整体边界相关，编码后数据变为隐藏状态而非标记
    • 反方观点：无
  3. 💡 模型融合可能产生个性化模型
    • 解释：将本地小模型和强大模型融合可能产生比基于提示的代理更好的个性化模型
  4. 💡 AI编写内容在项目中的问题
    • 解释：AI编写代码在无法验证功能时存在问题，原帖呈现给人已知正确的错觉，应明确已知和未知内容
  5. 💡 项目可作为模型合并的替代方案且有优势
    • 解释：项目可减少内存带宽使用，在多GPU上实现更快推理速度并结合两个模型特性

金句与有趣评论

  1. “😂 Interesting”
    • 亮点：简洁表达对项目的兴趣态度。
  2. “🤔 The tokenizer is only relevant at the boundaries of the model as a whole, and they do not need to match.”
    • 亮点：阐述模型融合中标记器的重要观点。
  3. “👀 It may be useful to note that it is common for the layers of decoder - only LLMs to undergo a sort of semantic transition between the first half and the second half.”
    • 亮点：提出仅解码器的LLMs层间语义转换的观点，对模型交互点设置有参考意义。
  4. “😉 Randomly merging model layers is the past, creating true split - brain models is the future!”
    • 亮点：指出裂脑模型是未来发展方向。
  5. “🤔 如果你的训练目标只是下一个标记预测，那么这个应该就像任何其他的语言模型一样工作？”
    • 亮点：对项目中训练目标与模型工作原理关系提出疑问。

情感分析

总体情感倾向是中性偏积极的。主要分歧点在于对项目的可行性和有效性的看法，部分人表示感兴趣和看好，也有人提出质疑。可能的原因是大家对项目的理解程度、技术背景以及对模型融合的期望不同。

趋势与预测

  • 新兴话题：项目对精神分裂症研究的潜在贡献可能会引发后续讨论。
  • 潜在影响：如果项目成功，可能会对模型融合技术发展产生积极影响，为多模型协作处理提供新的思路。

详细内容：

标题：创新的“分裂脑”模型在 Reddit 引发热议

最近，Reddit 上出现了一个关于“分裂脑”模型的有趣讨论。原帖作者展示了自己创建融合层系统的项目，旨在让两个语言模型同时运作产生不同结果。帖子获得了不少关注，引发了众多网友的热烈讨论。

讨论的焦点主要集中在模型融合的可行性、技术实现细节以及潜在的应用场景等方面。有人认为这很有趣，也有人对不同模型的词汇差异处理提出疑问。比如，有用户说：“他们的词汇表不同，该如何处理呢？”另一位用户则详细解释道：“在模型整体的边界处，分词器才有相关性，它们不需要匹配。经过编码和第一层注意力层后，流经模型的数据不再是词元，而是多维编码的隐藏状态。这些多维空间在不同模型之间是不同的，所以融合层可能会内在地学习到这两个多维空间是不同的，并通过训练得到一种内部归一化的方法。然后，你需要为融合层的输出设置一个分词器/词汇表。这不一定是任何一个模型的编码分词器，但可以是。”

对于可能存在的偏向问题，有人认为在推理过程中可以利用选择过程，根据模型的表现切换反馈的词元集。还有人提出如果将本地小模型和强大的模型合并，是否能带来更个性化的模型。

也有用户表示担忧，认为虽然代码中的技术术语听起来很专业，但其中很多是由 AI 生成的，对于 AI 的猜测是否正确无法确定。

原帖作者回应称，技术术语虽由 AI 撰写，但想法和前提是自己的，并会添加免责声明。

有人认为这可能是对精神分裂症研究的重大贡献，也有人觉得这超级酷，询问是否能在只有一个 GPU 的计算机上运行，作者给予了肯定回答。还有人将其与模型合并进行对比。

总之，这次关于“分裂脑”模型的讨论展示了大家对于创新技术的热情和深入思考，也反映了在探索过程中面临的诸多挑战和不确定性。