原贴链接

今天我们宣布自推出以来Cerebras推理的最大更新。Cerebras推理现在运行Llama 3.1 - 70B时达到了惊人的每秒2100个token，较之前的版本性能提升了3倍。相比之下，这个性能：比最快的GPU解决方案快16倍；比运行Llama3.1 - 3B（一个小23倍的模型）的GPU快8倍；相当于单个软件版本中新一代GPU（H100/A100）的性能升级。快速推理是开启下一代AI应用的关键。从语音、视频到高级推理，快速推理使得构建以前无法实现的响应式、智能应用成为可能。从Tavus革新视频生成到GSK加速药物发现工作流程，领先的公司已经在使用Cerebras推理来突破极限。可在inference.cerebras.ai通过聊天或API尝试Cerebras推理。

讨论总结

这个讨论围绕Cerebras Inference速度提升展开。部分用户对其速度表示惊叹，分享使用体验和对功能的认可；也有用户提出质疑，如性能提升是否基于量化、与其他产品速度比较是否准确等。还有用户关注硬件相关话题，如硬件架构、能耗、价格以及是否有个人可购买的版本等。此外，也涉及到Cerebras与其他产品的对比，总体氛围活跃且观点多样。

主要观点

  1. 👍 Cerebras Inference速度很快，令人惊叹
    • 支持理由：如比最快的GPU解决方案快16倍等一系列数据体现速度优势，许多用户直接表达惊叹。
    • 反对声音：部分用户在考虑功耗等情况下认为速度提升成果并不那么令人印象深刻。
  2. 🔥 Cerebras的行为可能是公关噱头且存在欺诈
    • 正方观点：从不会添加某些模型等方面推测是为筹集资金的公关手段且存在欺诈。
    • 反方观点：认为硬件强大，数据可能合法，所谓公关噱头只是展示能力吸引顾客。
  3. 💡 Cerebras硬件不适合家庭实验室
    • 解释：硬件运行需要12个电源供应单元，最大功率为23kW，价格昂贵等因素决定。
  4. 💡 Cerebras的语音聊天比OpenAI好
    • 解释：部分用户在使用体验中觉得Cerebras的语音聊天演示很棒，比OpenAI要好。
    • 反对声音：有用户指出在高级语音模式下Cerebras不是真正的语音模型，并不比OpenAI好。
  5. 💡 Cerebras API的可用性很重要
    • 解释：如果API不可用，即使每秒处理令牌数速度快也没有意义。

金句与有趣评论

  1. “😂 我一直在使用他们的聊天演示作为谷歌翻译的替代品，高质量的即时翻译，令人难以置信。”
    • 亮点：分享了Cerebras在翻译方面的积极使用体验。
  2. “🤔 Green - Rule - 1292：12PSU to run, max draw of 23kW(?!) Not the type of machine you’d plug into the home lab…”
    • 亮点：直观地阐述了Cerebras硬件在家庭实验室应用的不合理性。
  3. “👀 umataro：I find it pretty credible and not really impressive, considering the power consumption. All these vendors should publish some common metric of "watts per million tokens" or something.”
    • 亮点：从功耗角度对Cerebras Inference速度提升提出不同看法并给出建议。
  4. “😂 Johnroberts95000：I am hoping for enough deregulation on nuclear power I can have a small one in my back yard as well”
    • 亮点：以幽默的方式表达对Cerebras硬件能耗问题的看法。
  5. “🤔 terry_shogun：If you mean advanced voice mode, it obviously isn’t; it’s not even a true speech model.”
    • 亮点：针对Cerebras语音聊天功能提出不同观点。

情感分析

总体情感倾向是较为复杂的。一方面，很多用户对Cerebras Inference速度提升表示惊叹和认可，体现出积极的情感；另一方面，也存在不少质疑的声音，如对性能提升的真实性、硬件相关的问题以及是否是公关噱头等。主要分歧点在于速度提升是否真的如宣传的那样有意义，可能的原因是大家从不同的角度看待这个问题，有的从技术本身，有的从商业角度，还有的从使用场景和成本等方面进行考量。

趋势与预测

  • 新兴话题：如Cerebras Inference在多模态模型上的应用、能否推出“开发者”层级、特定模型格式等话题可能会引发后续讨论。
  • 潜在影响：如果Cerebras Inference能够持续优化并解决现存的一些争议点，可能会对人工智能领域的推理任务效率产生较大影响，改变相关企业和开发者在选择硬件和技术时的决策。

详细内容：

标题：Cerebras Inference 性能大幅提升，引发Reddit热烈讨论

近日，Reddit上一则关于“Cerebras Inference now 3x faster: Llama3.1-70B breaks 2,100 tokens/s”的帖子引起了广泛关注。该帖子包含了相关的链接，如https://cerebras.ai/blog/cerebras-inference-3x-faster和https://inference.cerebras.ai/，获得了众多点赞和大量评论。帖子主要介绍了Cerebras Inference性能的显著提升，称其运行Llama 3.1-70B的速度达到每秒2100个令牌，比之前的版本快了3倍，且在性能上远超当前最快的GPU解决方案。

讨论的焦点主要集中在以下几个方面： 有人认为Cerebras Inference的速度和性能确实令人惊叹，比如有用户表示“我用他们的聊天演示替代了谷歌翻译，高质量的即时翻译，令人难以置信”。 但也有人对其提出了质疑，比如有用户觉得“考虑到功耗，这没什么令人印象深刻的”，并认为所有供应商应该公布一些诸如“每百万令牌的瓦特数”之类的通用指标来进行更公平的比较。 还有用户关心其硬件方面的问题，如“12PSU运行，最大功耗23kW，这可不是能在家庭实验室使用的机器”，也有人探讨其能否用于家庭使用以及价格问题。 对于其与其他同类产品的比较，比如有人提到“不知道它和Sambanova 405B相比速度如何”。

有人指出Cerebras Inference可能存在的局限性，比如“它对于更大模型的推理可能有问题，因为硬件昂贵且数量有限”。但也有人认为其具有巨大潜力，“通过将模型存储在SRAM内存中实现了这些速度和效率，其方法很可能成为绝对的赢家”。

在这场讨论中，存在一些共识。比如大家都认可Cerebras Inference的性能提升是一个重要的进展，但对于其实际应用和可持续性存在不同看法。

特别有见地的观点如“如果处理过程从不离开晶圆，并且它有40GB的SRAM，那它是如何容纳一个70B的模型的？”，丰富了讨论的深度。

总之，关于Cerebras Inference的讨论展示了大家对新技术的关注和思考，也反映了在高性能计算领域不断探索和追求进步的热情。未来，我们期待看到Cerebras Inference在实际应用中的更多表现，以及其能否解决当前讨论中提出的各种问题。