原贴链接

我的意思是来自世界各地的个人或小型OSS贡献者的贡献，而不是大型科技公司。目前看来，大多数开放模型的改进都是由大型科技公司的免费贡献实现的，这些公司要么是为了获得良好的公关，要么是想占领市场，要么是想让自己的模型成为标准。开放权重LLMs的支持者经常以开源软件为例，说明为什么LLMs应该是开放权重的，但我找不到任何例子表明LLM已经通过全球小规模贡献得到了显著改进，就像开源软件那样。我原本期望OSS贡献能够真正有助于解决一些低垂的果实，比如改进RLHF、更好的合成数据或可解释性工作，但这些改进也主要来自大型科技公司和像Anthropic和OpenAI这样的“闭源”公司。

似乎底层模型在这里存在根本性缺陷，因为这些模型既不是真正的开源（在大多数情况下，甚至数据集也没有公开，更不用说这些模型是真正的黑箱了）。到目前为止，这些模型的唯一优势是承诺在本地（昂贵的）硬件上运行，虽然在隐私和避免速率限制方面相当不错，但远非开源，就像发布传统闭源软件的二进制文件一样。感觉开源和自由软件运动已经被LLMs（特别是少数有其他动机的大型科技公司）劫持了，它们基于根本不同的原则和能力运作。

讨论总结

本次讨论主要聚焦于开源大语言模型（LLMs）的改进和创新，特别是来自小型开源贡献者的贡献。讨论中普遍认为，尽管开源软件运动的理念被视为LLMs应该开放的原因之一，但实际上LLMs的显著改进主要来自大型科技公司和封闭源代码公司，而非全球的小型贡献者。讨论还涉及了开源模型的真正价值、微调的作用、以及开源社区对整体技术进步的积极影响。

主要观点

  1. 👍 开源大语言模型的改进主要来自大型科技公司和封闭源代码公司
    • 支持理由：大型科技公司拥有更多的资源和数据，能够进行更深入的研究和开发。
    • 反对声音：小型开源贡献者的创新和努力不应被忽视，他们在某些领域也有显著贡献。
  2. 🔥 开源软件运动的理念在LLMs领域并未得到充分体现
    • 正方观点：LLMs的模型和数据集通常不公开，导致其并非真正的开源。
    • 反方观点：开放权重模型虽有不足，但仍优于完全封闭的模型。
  3. 💡 小型开源贡献者在LLMs领域的贡献有限
    • 解释：尽管有一些具体的例子如扩展RoPE和llama.cpp，但整体上小型贡献者的影响力较小。

金句与有趣评论

  1. “😂 Extending RoPE, llama.cpp (CPU inference), DPO (RLHF replacement) just to name first few things that came to into my mind.”
    • 亮点：这些具体的开源贡献展示了小型团队在LLMs领域的实际工作。
  2. “🤔 The Alpaca demonstration of instruction tuning was a critical step and was done by a small team working very fast after the initial Llama release.”
    • 亮点：小型团队在LLMs领域的快速响应和创新能力。
  3. “👀 lol, at least 50% of improvements on models since Llama1 leak came from opensource work.”
    • 亮点：开源工作在模型改进中占有重要比例，不应被忽视。

情感分析

讨论的总体情感倾向较为复杂，既有对大型科技公司主导地位的担忧，也有对小型开源贡献者努力的认可。主要分歧点在于开源软件运动的理念是否在LLMs领域得到充分体现，以及小型贡献者的实际影响力。

趋势与预测

  • 新兴话题：开源贡献者在LLMs领域的进一步创新和贡献。
  • 潜在影响：开源模型的透明度和数据集公开性对整个AI领域的影响。