单3090(或4090)可使用的模型列表
[原帖给出单24GB GPU可运行的模型列表,评论围绕模型层数与智能关联、特定需求下模型选择、硬件相关问题、新手关于模型加载疑问等展开,整体氛围较为理性探讨]
[原帖给出单24GB GPU可运行的模型列表,评论围绕模型层数与智能关联、特定需求下模型选择、硬件相关问题、新手关于模型加载疑问等展开,整体氛围较为理性探讨]
[围绕如果5090显卡泄露规格为真的情况下愿意支付的最高金额展开讨论,涉及显卡性能、价格、显存等多方面因素,大家观点各异且存在一些争议]
[原帖分享在Linux上设置AMD GPU运行llama的操作步骤,评论围绕AMD GPU相关的系统设置、新显卡发布、硬件性能、软件支持、模型运行等话题展开讨论,氛围较为积极且充满技术交流。]
[原帖作者寻求6个3090显卡的推理软件设置建议,评论者们从硬件相关建议、软件推荐、好运购买过程等多方面给出了各种建议、分享了自己的经验并展开了相关讨论。]
[原帖展示6x GPU构建,评论围绕构建中的硬件、成本、电源等提问、分享经验或发表看法,整体氛围积极且充满技术交流]
[原帖询问运行大型模型的低成本硬件,P40是否值得购买,评论者从不同角度给出各种硬件推荐,包括P40的优劣、其他GPU的特点、非本地化运行模型的思路等内容,讨论氛围比较理性且具有建设性]
[原帖探讨8b和70b之间无中间版本的llama模型的问题,评论者从不同角度给出看法,包括推荐其他模型、解释技术原因、分享使用体验等,整体氛围积极理性]
[围绕ETH79 - X5主板展开讨论,涉及硬件性能、成本、与其他主板对比等方面,整体氛围较为平和]
[围绕AMD和ROCM是否仍存在问题及支持是否变好展开讨论,涉及不同系统下的使用体验、与Nvidia对比、各种模型的运行情况等,观点多样且有褒有贬]
[围绕在RTX 3090上实时玩AI生成的《CS:GO》展开讨论,包含技术分析、体验感受、未来展望、存在问题等多方面内容,整体氛围积极且充满探索性]