人工智能领域一直遵循着繁荣与萧条的循环。在“人工智能之夏”期间,进步迅速且热情高涨,但商业利益过度炒作人工智能技术,并对其未来能力过度承诺。当这些承诺未能实现时,热情就会转变为幻灭、沮丧和排斥,“人工智能寒冬”就会来临。人工智能寒冬并不意味着该领域进步的终结,甚至也不是暂停。过去人工智能之夏期间开发的各种技术仍然存在,不断得到改进,甚至取得商业成功,但它们不再被当作“人工智能”来营销,而是被称为其他名称——编译器、数据库、搜索引擎、代数求解器、证明器和机器人技术都曾被视为“人工智能”并经历过自己的繁荣期,就像大型语言模型(LLM)技术正在经历的一样。在人工智能寒冬期间,用于投资人工智能的资助和风险资本会枯竭,大多数(但不是全部)学者会转向其他能获得资助的领域,商业供应商会将他们的“人工智能”产品重新贴上其他标签——“商业解决方案”、“分析”等。如果销售这些产品的利润无法覆盖维护成本,这些产品就会被搁置。无法有效将产品货币化的人工智能初创企业会被大公司收购,或者直接关门大吉。如今的人工智能之夏显示出延续这种模式的种种迹象。大型语言模型(LLM)技术很棒且有用,但还没到商业利益无法对其未来过度承诺的程度,而这正是大型语言模型(LLM)服务供应商正在做的事情。如果过度承诺导致幻灭,而幻灭导致人工智能寒冬,那么另一个人工智能寒冬似乎不可避免。那么,这对我们本地的LLaMa社区所有人意味着什么呢?乍一看,本地的LLaMa爱好者似乎处于相当有利的地位来度过另一个寒冬。毕竟,下载到计算机上的模型没有有效期,而且我们进行推理所需的所有软件都在自己的硬件上运行,对吧?那么我们为什么要在意呢?也许我们短期内(至少在头一两年)不会在意,但最终我们会遇到问题:1. 我们依赖的开源软件需要维护,否则随着其依赖项或底层语言的演变引入不兼容性,它将停止工作。2. 未来的硬件可能不受当今推理软件的支持。例如,要使CUDA工作,需要英伟达的专有.jar文件将CUDA字节码转换为GPU的实际指令。如果这些CUDA.jar文件的未来版本与当今的推理软件不兼容,我们只能在能使旧的JVM与系统上运行的旧.jar文件保持兼容的情况下(并且只能使用旧的GPU)使用我们的软件。当然这是可行的,但不是永远可行。3. 如果拥有丰富GPU资源的一方停止训练新的前沿模型,我们的社区将不得不自己想办法。现有模型可以进行微调,但我们能找到创建新的更好模型的方法吗?4. 新训练数据集的创建经常依赖于像ChatGPT或Claude这样的商业服务来标记、评分或改进数据。如果这些服务变得价格高昂无法承受,或者完全消失,数据集开发者将需要寻找替代方案。5. 即使社区确实找到创建新模型和数据集的方法,我们将如何共享它们呢?不能保证Huggingface在寒冬来临后会继续存在——记住,在人工智能寒冬期间投资资金枯竭,所以像Huggingface这样的服务将不得不找到其他方法来保持服务器运行,或者关闭服务器。这些都是可以解决的问题,但在人工智能寒冬来临之前解决会更容易、更令人满意,趁我们还有Huggingface,趁Claude和GPT4还便宜,趁我们的软件还在维护,趁还有很多人在r/LocalLLaMa阅读帖子的时候。我太年轻,不记得第一次人工智能寒冬,但在第二次人工智能寒冬期间活跃于该领域,它给我留下了深刻印象。因此,我对大型语言模型(LLM)技术的态度受到对另一个人工智能寒冬预期的强烈影响。我的最佳猜测是,我们可能会在2026年到2029年之间看到下一个人工智能寒冬,所以我们有时间去解决问题。我想开启一系列“在人工智能寒冬中保持温暖”的讨论,每个讨论聚焦一个不同的问题,这样我们就可以讨论解决方案并跟踪谁在做什么。这篇帖子只是这个主题的引言,所以在深入细节之前让我们先总体讨论一下。
讨论总结
原帖以AI领域的繁荣 - 寒冬周期为背景,探讨在即将可能到来的AI寒冬中,本地LLaMa社区可能面临的问题。评论者们从多个角度展开讨论,如AI寒冬是否真的即将到来,有的认为AI寒冬可让过热的AI发展冷却,也有人认为当前AI发展势头良好不会有寒冬;还涉及到开源软件维护、模型训练效率、硬件发展影响等与AI发展相关的问题,大家观点不一,有争议也有认同。
主要观点
- 👍 投资规模大且AI版本发布间能力稳步增加,不确定AI是否会进入寒冬
- 支持理由:目前看到投资规模巨大和能力稳步提升这两个现象同时存在。
- 反对声音:无明确反对。
- 🔥 AI寒冬可让人们对AI的狂热情绪冷却下来
- 正方观点:当前人们对AI过于狂热,寒冬可使其回归理性。
- 反方观点:部分人认为AI发展良好不需要冷却,不认可寒冬即将到来。
- 💡 训练大型模型会使发展速度变慢,众多团队先训练小模型再训练大模型更高效
- 理由:大型模型训练所获增益不大,先小规模探索可提高效率。
- 💡 不认可AI寒冬即将到来,近期开源模型成果显著且小型微调者表现出色
- 理由:有开源模型取得好成果,小型微调者能力强,还有相关人士对AI发展的积极表态。
- 💡 软件腐朽对本地推理影响不大,大公司资金干涸不意味着社区会消失
- 理由:仍有足够的人使用软件维持运行,社区有自身的活力。
金句与有趣评论
- “😂 Maybe this time around an AI winter is not that a bad thing, given how people are freaking out about AI (and science/tech in general). It’s a good way to let things cool down.”
- 亮点:提出与众不同的看法,认为AI寒冬有积极意义。
- “🤔 Balance-: Not sure. While investments are insane, there’s still steady capabilities increases between releases.”
- 亮点:表达了对AI是否进入寒冬的不确定态度及背后的依据。
- “👀 Hot take: Who says there has to be another winter? Just because it happened once or twice in the past it doesn’t mean it has to happen again. It’s not like it’s a law of nature.”
- 亮点:从逻辑上质疑AI寒冬必然会再次发生的观点。
- “😎 personally I don’t think software rot will hurt local inference too much.”
- 亮点:对软件腐朽与本地推理的关系给出个人积极判断。
- “💥 Training these giant models is slowing everything down.”
- 亮点:直接指出训练大型模型对发展速度的负面影响。
情感分析
总体情感倾向比较复杂,既有乐观者认为AI发展势头良好不会有寒冬,也有担忧者考虑到硬件供应等问题认为寒冬可能来临。主要分歧点在于对AI寒冬是否即将到来的判断。可能的原因是大家从不同的角度看待AI发展,如技术成果、资金情况、社会影响等。
趋势与预测
- 新兴话题:AI发展中的硬件供应受地缘政治影响以及社区独立进行模型训练的思路。
- 潜在影响:如果硬件供应受影响可能会对AI发展速度和方向产生影响;社区独立训练模型若能成功实施可能改变AI的发展模式。
详细内容:
《AI 寒冬是否会再次来临?Reddit 掀起热议》
近日,Reddit 上一篇题为“Staying Warm During AI Winter, Part 1: Introduction”的帖子引发了广泛关注,获得了众多点赞和大量评论。该帖主要探讨了人工智能领域的发展规律,指出其一直存在繁荣与萧条的周期。在“AI 夏天”,技术进步迅速,商业利益过度承诺未来能力,而当承诺无法实现时,“AI 寒冬”便随之而来。
当前的“AI 夏天”似乎也在延续这一模式,LLM 技术虽出色但也被过度炒作,因此另一场“AI 寒冬”似乎难以避免。对于本地 LLaMa 社区来说,这可能带来一系列问题,如开源软件的维护、硬件支持、新模型的创建、训练数据集的获取以及成果的分享等。
讨论焦点主要集中在以下几个方面: 有人认为投资虽疯狂,但能力仍在稳步提升。也有人指出,投资越大,期望越高,这往往导致预期与实际成果之间的差距加大。还有观点认为,这次的“AI 寒冬”或许并非坏事,能让过热的态势冷静下来。
有人表示,llama.cpp 以 C++编写,相对独立,自己或许能维护。也有人觉得训练大型模型会拖慢一切,应采取更多小型模型的不同训练方法。有人称预训练虽贵,但微调容易且成本低,可复用预训练成果。还有人认为,尽管目前有开源模型和优秀的微调成果,但仍应做好应对寒冬的准备。
有人不认为软件老化会严重影响本地推理,社区不会消失。也有人认为不应过于关注大公司的大型模型,应关注小型、有针对性的模型及其整合。
有人直言不相信会有“AI 寒冬”,认为这不是自然规律,且 LLM 带来的变革如同计算机发明,虽然可能有泡沫,但研究资金不会短缺。但也有人认为会有“AI 寒冬”,并指出对方不了解软件兼容性等问题。
有人认为社会如同巨大的钟摆,有繁荣就有萧条。
总之,关于是否会迎来“AI 寒冬”,各方观点不一。但无论如何,在当前技术发展的热潮中,为可能到来的困难时期做好准备都是明智之举。
感谢您的耐心阅读!来选个表情,或者留个评论吧!