硬件与部署 硬件选择

RTX 4090下本地大语言模型最佳选择

[原帖作者升级电脑硬件后寻求本地LLM推荐,评论者们从不同方面给出推荐、分享经验、提出建议,还涉及硬件升级、提醒功能等内容,整体氛围较和谐。]

 ·  · 
硬件与部署 硬件选择

Epyc Turin搭配256GB/5600mhz的CPU推理数据

[原帖分享Epyc Turin设备相关的配置、测试数据等,评论围绕设备性能、数据准确性、性价比等展开讨论,氛围积极且充满技术交流]

 ·  · 
硬件与部署 硬件选择

计算机硬件将如何变革以适配本地大语言模型

[关于计算机硬件如何改变以迎合本地LLMs,大家讨论了硬件发展的多个方面,包括不同组件、不同技术方向,观点有乐观有怀疑,氛围积极且充满探索性]

 ·  · 
硬件与部署 硬件选择

RX 7900 XT低成本组建AI服务器是否值得?

[围绕RX 7900 XT用于构建AI服务器是否值得展开讨论,涉及与英特尔A770的比较、性价比、性能表现、软件支持等多方面内容,讨论氛围比较理性客观]

 ·  · 
硬件与部署 硬件选择

10000美元的最佳私人配置

[原帖询问用10 - 12k美元构建用于LLM、Comfy和编程的新私人设备的最佳方案,评论给出了多种建议包括不同硬件组合、等待新设备等,整体氛围积极且富有建设性]

 ·  · 
硬件与部署 硬件选择

取消ChatGPT Plus订阅

[原帖作者因开源机器学习发展取消ChatGPT Plus订阅,打算买GPU,评论者围绕此展开,包括对开源趋势的赞同、对取消订阅原因的讨论、GPU选择的建议和性能比较等]

 ·  · 
硬件与部署 硬件选择

DeepSeek R1 671B MoE大模型于特定硬件运行

[围绕DeepSeek R1 671B MoE LLM在特定设备上的运行,从性能表现、真假性、硬件相关到特朗普政策等多个方面展开讨论,整体氛围活跃且充满技术交流]

 ·  · 
硬件与部署 硬件选择

英伟达是"纸老虎",那AMD呢?

[原帖探讨Nvidia的50x0系列问题并对AMD 7900 XT的可行性提问,评论中从性能、性价比、CUDA支持等多方面比较AMD和Nvidia,有不同的倾向和争议,整体氛围理性探讨中带有对AMD产品的争议]

 ·  · 
硬件与部署 硬件选择

在本地游戏主机上无GPU实现DeepSeek R1 671B每秒超2个标记的推理速度

[原帖讲述在本地游戏设备无GPU运行DeepSeek R1 671B的成果,评论有赞同、质疑、好奇提问、分享经验和探讨优化等多种反应。]

 ·  · 
硬件与部署 硬件选择

使用7995WX搭配1TB系统内存运行大语言模型

[原帖探讨使用7995WX和1TB内存运行LLMs的设想,评论从内存带宽、硬件替代、成本质疑等多方面进行讨论,氛围比较理性]

 ·  ·