原贴链接

我的朋友们喜欢抱怨他们工作场所的Slack聊天系统的“AI摘要”非常糟糕，不仅遗漏了对话中最重要的一点，有时还会颠倒其含义。

我没有接触过他们的Slack聊天系统，但我确实请Big-Tiger-Gemma-27B总结了我们自己大约5000个令牌的非工作聊天记录，没有进行任何清理或重新格式化日志数据，并将其展示给他们——http://ciar.org/h/summary.1725476207.bitmines.btg.txt

有些人强烈认为所有AI都很糟糕，他们甚至不想看那个摘要，但那些看过的人承认，它做得比他们的Slack摘要器要好得多。

我的问题是，简单来说，为什么？

如果我只需将聊天记录输入到llama.cpp中，并让它用像那样中等大小的模型输出高质量的摘要，为什么Slack的实现会产生如此低质量的结果？

他们是否使用了较旧一代的模型？他们是否使用了太小而无法做好工作、为了更快更便宜推理的模型？可能是什么原因导致了这种差异？

讨论总结

本次讨论主要围绕Slack聊天系统的AI摘要功能的质量问题展开。参与者普遍认为，Slack的AI摘要效果不佳，不仅遗漏重要信息，有时甚至颠倒意思。讨论中涉及的主要观点包括：

  1. Slack可能使用了较旧或较小的模型，以降低成本和提高处理速度。
  2. 大公司行动缓慢，无法跟上LLMs的快速发展，导致其AI功能落后。
  3. 为了追赶AI热潮，公司可能急于推出不成熟的产品。
  4. 系统更注重快速和廉价的处理，而非高质量的摘要结果。
  5. 需要更好的模型来提高摘要的准确性和质量。

讨论中还涉及了对不同AI模型（如Gemma-27B、ChatGPT-4o、llama1/2、Claude等）的性能比较，以及对RAG系统和上下文窗口大小对摘要质量影响的探讨。总体上，讨论呈现出对AI摘要工具实际应用效果的怀疑和技术局限的反思。

主要观点

  1. 👍 Slack可能使用了较旧或较小的模型
    • 支持理由：为了降低成本和提高处理速度，公司可能选择使用较旧或较小的模型。
    • 反对声音：无明确反对声音，但有观点认为需要更好的模型来提高摘要质量。
  2. 🔥 大公司行动缓慢，无法跟上LLMs的快速发展
    • 正方观点：大公司行动缓慢，导致其AI功能落后。
    • 反方观点：无明确反方观点，但有观点认为公司可能急于推出不成熟的产品。
  3. 💡 系统更注重快速和廉价的处理
    • 解释：由于需要为大量用户提供全天候的摘要服务，系统更注重快速和廉价的处理，而非高质量的摘要结果。
  4. 💡 需要更好的模型来提高摘要的准确性和质量
    • 解释：现有模型在处理复杂任务时表现不佳，需要更好的模型来提高摘要的准确性和质量。
  5. 💡 RAG系统和上下文窗口大小对摘要质量有影响
    • 解释：RAG系统可能提供错误结果，上下文窗口大小限制了模型的性能，影响摘要质量。

金句与有趣评论

  1. “😂 SlimeQ："in my experience with llama 1 and 2 (13B), they are absolutely awful at summarization or any form of data extraction."”
    • 亮点：直接指出llama 1和2在数据提取和总结方面的糟糕表现。
  2. “🤔 SomeOddCodeGuy：Running AI compute is expensive, so companies tend to cut corners for the sake of speed and cost when you are talking about a feature people aren’t specifically paying for.”
    • 亮点：解释了公司在提供免费功能时为了成本和速度而削减资源的原因。
  3. “👀 TechnicalParrot：Idk about slack (maybe they just use a really small model?)”
    • 亮点：对Slack可能使用较小模型的猜测，引发了对模型性能的进一步讨论。
  4. “💡 gmdtrn：LLM responses can be bad b/c (a) models themselves are under-powered, (b) model is unsuited to the job, (c) context window limitations, (d) they’re using RAG and the RAG system is giving the LLM bad results to summarize, (e) RAG is hard to implement well since most basic implementations just respond with chunks of data that have semantic similarity and they’re not guaranteed to have the most relevant data.”
    • 亮点：详细列举了LLM生成总结质量差的可能原因，提供了全面的分析视角。
  5. “🤔 nostriluu：Can’t tell if your summary is any good because we can’t see the original content — did you only talk about six things, were the summaries totally different each time?”
    • 亮点：强调了无法判断摘要质量的原因，因为没有原始内容作为对比。

情感分析

讨论的总体情感倾向较为负面，主要集中在对Slack聊天系统AI摘要质量的不满和质疑。参与者普遍认为现有AI模型在处理复杂任务时表现不佳，存在明显的技术局限。主要分歧点在于对问题根源的探讨，包括模型性能、成本考虑、速度优先和大规模服务的影响。可能的原因包括大公司行动缓慢、急于推出不成熟产品以及系统设计更注重速度和成本而非质量。

趋势与预测

  • 新兴话题：对不同AI模型性能的比较和评估，以及RAG系统和上下文窗口大小对摘要质量的影响。
  • 潜在影响：讨论可能引发对现有AI工具实际应用效果的进一步反思，推动对更高质量AI模型的需求和开发。

详细内容：

《为何 Slack 聊天的 LLM 生成摘要如此糟糕？》

在 Reddit 上，有一篇题为“LLM-generated summaries of Slack chat – why is it so bad?”的帖子引起了广泛关注，收获了众多点赞和大量评论。帖子指出，一些朋友抱怨工作场所的 Slack 聊天系统的“AI 摘要”非常糟糕，不仅遗漏重要要点，有时甚至曲解意思。作者让 Big-Tiger-Gemma-27B 对约 5000 个令牌的非工作聊天日志进行总结，并将其展示给朋友们，部分看过的朋友承认这比他们 Slack 系统的摘要做得好，并提出疑问，为何自己能通过 llama.cpp 生成高质量摘要，而 Slack 的实现效果却如此之差。

讨论的焦点集中在多个方面。有人认为，一些公司使用的可能是较旧的 GPT-3.5 模型，或者像 Salesforce 这样的所有者可能要求使用其内部还不够出色的模型。也有人指出，对于很多公司来说，为节省成本，可能会选择便宜且速度快但质量不佳的模型，比如可能只是使用较老的 Llama 模型。还有用户表示，公司规模大，需要快速和低成本的服务，而非高质量，像“我所在的组织有数百个座位，它不分昼夜地为所有人进行总结，所以需要快和便宜”。此外，有用户提到，Llama 1 和 2 在总结和数据提取方面表现很差，如果 Slack 一开始就用了这类模型，效果不好也不奇怪。也有人认为，LLM 响应不好可能是因为模型本身能力不足、不适合任务、上下文窗口有限、使用的 RAG 系统给出了不好的结果供 LLM 总结等原因。

不同观点的争论十分激烈。有人坚信是模型本身的问题，也有人认为是成本和规模导致的妥协。不过，大家也有一定的共识，那就是企业在应用 AI 技术时，往往需要在成本、速度和质量之间进行权衡。

总体来看，这次关于 Slack 聊天摘要的讨论，揭示了企业在 AI 应用中的种种困境和挑战，也让我们对如何平衡技术与实际需求有了更深入的思考。