硬件与部署 硬件选择

最便宜运行32B模型的硬件

[原帖询问运行32B模型最便宜且能完全装入GPU内存且速度较好的硬件方式,评论给出了各种硬件推荐、运行参数、量化方式、不同硬件的性能比较等内容,整体氛围积极且充满技术干货]

 ·  · 
硬件与部署 硬件选择

10000美元预算购置1台AI机器/服务器,求建议

[有人有10K预算构建1台AI机器/服务器用于本地AI实例的测试和微调等,大家围绕硬件配置、预算限制等方面给出建议,包括不同硬件的选择、云服务、数据隐私等话题,整体讨论比较积极且富有建设性]

 ·  · 
硬件与部署 硬件选择

电脑装有两块7900XTX显卡,电源1000W是否会损坏

[原帖询问1000W电源能否带动特定硬件配置(含双7900 XTX等),评论给出功率限制、查看功率选项等建议,还涉及显卡功耗、价格、使用体验等内容,总体氛围较平和]

 ·  · 
硬件与部署 硬件选择

性价比超高的AI硬件配置

[帖子展示了高性能计算机硬件配置及花费,评论围绕消费观念、硬件性能、技术相关问题等展开讨论,氛围较为理性且多元]

 ·  · 
硬件与部署 硬件选择

苹果与骁龙的NPU信息

[围绕苹果和骁龙的NPU信息展开讨论,包括性能对比,手机上NPU运行模型的探索,不同芯片NPU和GPU对小模型的性能比较等内容,讨论氛围较为理性探索]

 ·  · 
硬件与部署 硬件选择

16GB显存下22B的Q4km或Q5的选择以及14B的Q4km Qwen2.5是否适合本地Gpt4o mini

[原帖探讨16GB显存下模型Q4km和Q5的选择以及Qwen2.5 14b是否能媲美GPT4o mini,评论从模型量化、质量、速度、个人经验等多方面给出观点、建议和回应]

 ·  · 
硬件与部署 硬件选择

连接多台电脑至强大LLM站以获取128GB显存的最佳方式

[原帖询问将多台电脑连接到一个强大LLM站获取128GB显存总量的最优方法,评论中有推荐项目、提供参考链接、探讨硬件配置等,整体氛围积极探讨且观点多样]

 ·  · 
硬件与部署 硬件选择

AMD RX7900XTX 24GB与NVIDIA 4070Ti Super 16GB个人使用对比

[原帖询问AMD RX7900XTX 24GB和NVIDIA 4070Ti Super 16GB哪个更适合个人使用(包含学习LLMs和游戏),评论主要从显卡性能、价格、功耗、项目支持、与软件的兼容性等多方面进行分析,总体氛围较为理性客观。]

 ·  · 
硬件与部署 硬件选择

树莓派上的大语言模型硬件加速(以低成本树莓派为基础计算机搭配高端AMD GPU)

[围绕在树莓派上进行LLM硬件加速(使用高端AMD GPU)展开讨论,有对其成本效益和性能的质疑,也有对相关技术成果的兴趣和好奇,总体氛围是多元且技术导向的]

 ·  · 
硬件与部署 硬件选择

寻求拥有64GB内存M4版MacBook Pro的用户帮助

[原帖主想在Macbook Pro 48GB和64GB型号间抉择,请求64GB型号用户进行模型下载测试相关速度,评论中有人分享测试结果、给出运行建议,也有人提供相关链接,整体氛围较技术向。]

 ·  ·