硬件与部署 硬件选择

单3090(或4090)可使用的模型列表

[原帖给出单24GB GPU可运行的模型列表,评论围绕模型层数与智能关联、特定需求下模型选择、硬件相关问题、新手关于模型加载疑问等展开,整体氛围较为理性探讨]

 ·  · 
硬件与部署 硬件选择

若5090泄露规格属实,你愿出的最高价是多少?

[围绕如果5090显卡泄露规格为真的情况下愿意支付的最高金额展开讨论,涉及显卡性能、价格、显存等多方面因素,大家观点各异且存在一些争议]

 ·  · 
硬件与部署 硬件选择

在Linux系统下使用AMD GPU运行Llama

[原帖分享在Linux上设置AMD GPU运行llama的操作步骤,评论围绕AMD GPU相关的系统设置、新显卡发布、硬件性能、软件支持、模型运行等话题展开讨论,氛围较为积极且充满技术交流。]

 ·  · 
硬件与部署 硬件选择

寻求6块3090推理软件设置的建议

[原帖作者寻求6个3090显卡的推理软件设置建议,评论者们从硬件相关建议、软件推荐、好运购买过程等多方面给出了各种建议、分享了自己的经验并展开了相关讨论。]

 ·  · 
硬件与部署 硬件选择

6块GPU的组装:4块RTX 3090与2块MI60、Epyc 7002、256GB DDR4

[原帖展示6x GPU构建,评论围绕构建中的硬件、成本、电源等提问、分享经验或发表看法,整体氛围积极且充满技术交流]

 ·  · 
硬件与部署 硬件选择

低预算运行大模型的最佳硬件,P40是否值得?

[原帖询问运行大型模型的低成本硬件,P40是否值得购买,评论者从不同角度给出各种硬件推荐,包括P40的优劣、其他GPU的特点、非本地化运行模型的思路等内容,讨论氛围比较理性且具有建设性]

 ·  · 
硬件与部署 硬件选择

为何在8b和70b之间没有Llama的中间版本

[原帖探讨8b和70b之间无中间版本的llama模型的问题,评论者从不同角度给出看法,包括推荐其他模型、解释技术原因、分享使用体验等,整体氛围积极理性]

 ·  · 
硬件与部署 硬件选择

ETH79 - X5主板信息:价格、配置与扩展

[围绕ETH79 - X5主板展开讨论,涉及硬件性能、成本、与其他主板对比等方面,整体氛围较为平和]

 ·  · 
硬件与部署 硬件选择

AMD与rocm问题现状:支持是否改善?

[围绕AMD和ROCM是否仍存在问题及支持是否变好展开讨论,涉及不同系统下的使用体验、与Nvidia对比、各种模型的运行情况等,观点多样且有褒有贬]

 ·  · 
硬件与部署 硬件选择

RTX 3090实时运行AI生成的《CS:GO》

[围绕在RTX 3090上实时玩AI生成的《CS:GO》展开讨论,包含技术分析、体验感受、未来展望、存在问题等多方面内容,整体氛围积极且充满探索性]

 ·  ·