硬件与部署 硬件选择

AMD Threadripper 3600与256GB内存运行本地大语言模型的可行性

[原帖主想在黑五购买AMD Threadripper 3600搭建本地LLM推理机,评论者们从硬件性能、性价比等多方面给出建议,有的表示不看好该方案,有的推荐其他硬件或方案,整体氛围理性且讨论丰富]

 ·  · 
硬件与部署 硬件选择

新PC组建:3090对新主机是否仍具意义?

[提问者在构建新电脑时考虑二手3090或全新4070 Ti Super,担心3090在2 - 3年后成为瓶颈,大家围绕这些显卡的性价比、显存、性能等方面展开讨论,多数认为3090是不错选择,整体氛围比较和谐且充满技术分析。]

 ·  · 
硬件与部署 硬件选择

8B VLM在130美元RK3588单板计算机上运行,NPU加速 - 4个令牌/秒,6.5秒延迟(MiniCPM - V 2.6)

[原帖分享在RK3588单板计算机上运行MiniCPM - V 2.6的项目成果,评论者表达赞同、惊叹、询问技术相关问题并进行性价比比较等,整体氛围积极且充满技术探讨。]

 ·  · 
硬件与部署 硬件选择

临近2025年,3090显卡是否仍有意义

[围绕3090在接近2025年是否仍有意义展开讨论,涉及与4090、5090在性能、性价比、显存等多方面比较,大家观点不一,氛围热烈且有深度]

 ·  · 
硬件与部署 硬件选择

预算硬件用于运行本地模型

[原帖询问运行本地模型的廉价硬件升级方案,评论给出多种硬件推荐、性价比分析、运行速度探讨以及系统选择相关的观点,整体氛围较务实。]

 ·  · 
硬件与部署 硬件选择

英伟达A100 SMX4 64GB的初步测试情况

[原帖分享nvidia a100 smx4 64GB测试情况和价格,评论围绕显卡价格、性能、用途、来源等展开讨论,整体氛围较和谐]

 ·  · 
硬件与部署 硬件选择

英特尔Arrow Lake可支持4个DIMM,速度最高达6400

[围绕英特尔Arrow Lake可能支持4个DIMMs且高速运行的情况展开技术讨论,包含对其通道类型、内存带宽、对大型语言模型的影响等方面的观点交流,氛围较为理性务实]

 ·  · 
硬件与部署 硬件选择

苹果M4 Max芯片:高达546GB/s的内存带宽

[围绕苹果M4 Max芯片的性能、内存带宽等特性展开讨论,涉及与其他设备的比较、性价比等方面,观点多样且有对其期待也有质疑]

 ·  · 
硬件与部署 硬件选择

MacBook Pro M4 Max:内存带宽高达526GB/s

[该讨论围绕MacBook Pro M4 Max的内存带宽展开,涉及对M4系列设备性能、价格、与其他产品比较等方面的看法,同时也探讨了苹果设备在不同场景下的优劣以及一些技术相关问题。]

 ·  · 
硬件与部署 硬件选择

OpenAI将于2026年开始使用AMD芯片并可能自制AI硬件

[The Verge报道OpenAI将在2026年开始使用AMD芯片并可能制造自己的AI硬件,评论者们对此事的真实性、背后原因、商业策略意义等展开讨论,整体氛围有质疑、有分析、有期待。]

 ·  ·