硬件与部署 配置

张量并行与管道并行所需带宽探究

[原帖询问特定硬件配置下张量并行和流水线并行的带宽需求,评论中有人给出硬件配置相关建议并就pcie接口问题产生争论且有一方认错,有人指出推理场景带宽需求不大,也有人表示不确定答案。]

 ·  · 
硬件与部署 硬件选择

在本地游戏主机上无GPU实现DeepSeek R1 671B每秒超2个标记的推理速度

[原帖讲述在本地游戏设备无GPU运行DeepSeek R1 671B的成果,评论有赞同、质疑、好奇提问、分享经验和探讨优化等多种反应。]

 ·  · 
硬件与部署 其他

有50万人能够本地运行685B参数模型吗?

[该讨论围绕是否有50万人能够在本地运行685B参数模型展开,涉及模型下载、运行的各种条件、影响因素以及相关现象,整体氛围比较理性且讨论方向多元。]

 ·  · 
硬件与部署 性能对比

Nvidia将RTX 40和50系列GPU的FP8训练性能减半

[围绕Nvidia在RTX 40和50系列GPU上FP8训练性能减半这一事件,大家讨论了性能削减的真实性、原因、影响以及是否可起诉等,讨论氛围热烈且观点多元]

 ·  · 
硬件与部署 性能对比

Mac M2 Ultra运行Deepseek R1 IQ1_S比2个H100更快

[在llama.cpp中M2 Ultra比2个H100s运行Deepseek R1 IQ1_S更快的现象引发讨论,包括对结果是否为bug、量化相关问题、运行意义、硬件性能等方面的探讨,氛围较为理性探讨]

 ·  · 
硬件与部署 配置

深度探索(Deepseek)部署于华为云

[原帖提及DeepSeek托管于华为云,评论者从多个方面进行讨论,包括对原帖信息的疑惑、与本地模型的相关性、网络托管与推理的关系等,整体氛围较为理性探讨]

 ·  · 
硬件与部署 其他

完成构建

[原帖可能是展示电脑构建成果但图片因连接错误无法显示,评论包含对构建成果的认可、幽默回应、硬件相关的询问、建议以及关于硬件功率等方面的讨论]

 ·  · 
硬件与部署 硬件选择

使用7995WX搭配1TB系统内存运行大语言模型

[原帖探讨使用7995WX和1TB内存运行LLMs的设想,评论从内存带宽、硬件替代、成本质疑等多方面进行讨论,氛围比较理性]

 ·  · 
硬件与部署 配置

低成本70b 8位推理设备搭建

[原帖分享低成本70b 8 - bit推理装置的构建详情、成本、性能等,评论围绕硬件各方面如Noctua设备、显卡、GPU温度、功耗等提问、讨论或表示感谢,整体氛围积极友好]

 ·  · 
硬件与部署 其他

为何云端运行R1 671b模型售卖访问权盈利者少?

[原帖对在云端部署R1 671b模型并售卖访问权盈利但却不常见的现象表示疑惑,评论从成本、技术、商业等多方面分析原因,整体氛围偏向理性探讨]

 ·  ·