硬件与部署 硬件选择

RTX 5090将配备32GB的GDDR7(1568 GB/s)内存

讨论围绕即将发布的RTX 5090显卡展开,主要关注其内存配置、价格、功耗及市场影响,用户对高价格和功耗表示担忧,同时期待性价比更高的替代方案。

 ·  · 
硬件与部署 硬件选择

Mark是不是不经意间透露了他们有一个超过100,000个GPU的数据中心用于llama4训练?

讨论围绕Meta公司使用100,000+ GPU数据中心训练Llama4模型展开,涉及AI训练资源需求、技术发展速度、能源消耗及社会影响等多个方面。

 ·  · 
硬件与部署 硬件选择

RAM速度和延迟对LLMs有影响吗?(内有基准测试)

讨论围绕内存速度和延迟对大型语言模型(LLMs)性能的影响展开,涉及硬件配置、性能测试和优化建议。

 ·  · 
硬件与部署 硬件选择

4060 Ti 16GB还是4070 12GB?AI/游戏混合使用。

讨论围绕在AI和游戏混合使用场景下,选择4060 Ti 16GB还是4070 12GB显卡展开,涉及显存需求、性能比较、二手市场和云服务等多个方面。

 ·  · 
硬件与部署 硬件选择

有哪位高手能让Flash Attention在Apple Silicon上运行吗?

讨论主要围绕Flash Attention库在Apple Silicon上的支持问题,涉及技术实现、性能提升和Nvidia垄断等话题,总体氛围偏向技术讨论和期待更多平台支持。

 ·  · 
硬件与部署 硬件选择

我正在购买一台配备128GB统一内存的顶级Macbook。我应该在上面运行什么,使用什么框架/UI/后端?

讨论围绕在高端Macbook上运行AI模型,特别是语音识别、文本分类和摘要生成任务,涉及性能、过热问题及模型选择。

 ·  · 
硬件与部署 硬件选择

人们在本地LLM服务器上使用什么?

讨论围绕本地大型语言模型(LLM)服务器的硬件配置、性能优化、成本分析和隐私保护展开,涵盖了从高性能计算到小型模型的多种观点和解决方案。

 ·  · 
硬件与部署 硬件选择

Qwen2.5-32B-Instruct 可能是目前最适合 3090 的最佳模型。

讨论围绕Qwen2.5-32B-Instruct模型在3090显卡上的表现展开,涉及量化方法、性能对比、上下文限制等多个技术细节,总体氛围积极,但也有对审查和硬件限制的担忧。

 ·  · 
硬件与部署 硬件选择

Strix Halo(Max)可能支持96GB显存

讨论围绕AMD Strix Halo (Max) 可能支持96GB VRAM展开,涉及内存带宽、适用场景、与苹果M Max系列的对比,以及对未来技术趋势的预测。

 ·  · 
硬件与部署 硬件选择

与GPU相比,你在CPU上看到的TPS性能如何?CPU推理实用吗?

讨论围绕CPU在推理任务中的性能表现展开,重点关注内存带宽、量化技术和模型大小对推理速度的影响,以及CPU与GPU的性能对比。

 ·  ·