硬件与部署 硬件选择

在家运行90B Llama的硬件成本

[原帖询问运行90B llama模型在家的硬件成本,评论主要围绕不同硬件配置(如显卡、内存、CPU等)运行llama模型的成本、性能、可行性展开讨论,整体氛围较为专业务实]

 ·  · 
硬件与部署 硬件选择

现可在商店购买DGX B200

[围绕DGX B200可在商店购买这一事件展开讨论,涉及价格、性能、能耗等方面,讨论氛围轻松幽默与严肃质疑并存]

 ·  · 
硬件与部署 硬件选择

RTX 3070硬件下可运行的AI模型

[围绕RTX 3070能否满足运行需求及能运行哪些模型展开讨论,给出多种模型运行建议,整体氛围积极交流]

 ·  · 
硬件与部署 硬件选择

购置8*GPU服务器运行32b模型,噪音大是否正常

[原帖提到购买支持8个GPU的服务器运行时像喷气式飞机一样发出噪音,评论主要围绕该噪音是否正常、产生原因、相关硬件知识以及解决办法展开,整体氛围较为理性且轻松]

 ·  · 
硬件与部署 硬件选择

AMD推出MI325X:1kW、256GB HBM3,性能达H200SXM的1.3倍

[围绕AMD新推出的MI325X,大家讨论了价格、性能、与NVIDIA的竞争、垄断、产品改进等多方面内容,氛围轻松与严肃兼具,存在一些争议点。]

 ·  · 
硬件与部署 硬件选择

7900XTX运行大语言模型工作负载的体验

[关于7900XTX运行LLM工作负载,大家分享了体验、性能、性价比等方面的看法,整体氛围较理性]

 ·  · 
硬件与部署 硬件选择

4090与等待5090的抉择

[原帖主纠结在1.5万美元预算下,为LLM推理和LoRA微调构建工作站时,是等待5090显卡还是选择4090显卡,评论者从性能、价格、供应、硬件搭配等多方面给出了各自的观点和建议,整体氛围是积极提供建议且讨论较理性。]

 ·  · 
硬件与部署 硬件选择

V100还能使用多少年?

[关于V100在CUDA兼容性方面还能使用多少年的问题,大家从V100的用途、性能特性、价格、与其他型号对比等多方面展开讨论,观点有分歧,氛围比较理性。]

 ·  · 
硬件与部署 硬件选择

即将入手64GB内存和16GB显存笔记本,求可运行的最佳本地大语言模型

[原帖主即将拥有特定配置笔记本电脑,询问可运行的本地LLMs,评论者从推荐模型、设备选择、运行速度、模型质量、硬件保护等多方面进行讨论,整体氛围积极且有建设性]

 ·  · 
硬件与部署 硬件选择

双3060显卡能否匹敌单3090?性能与成本对比

[原帖询问两张3060是否等同于或优于一张3090,评论者从性能、性价比、使用场景等多方面进行分析,普遍认为3090性能更优,但两张3060对预算有限者是可行选择,整体讨论氛围理性且专业]

 ·  ·