硬件与部署 配置

我的DeepSeek R1 671B在家使用计划:CPU+GPU混合,4xGen5 NVMe卸载

[原帖分享DeepSeek R1 671B在家的CPU + GPU混合计划,评论者对计划中的性能、硬件配置、成本等方面表示怀疑、提问、分享经验或给出建议,整体氛围积极且充满技术探讨]

 ·  · 
硬件与部署 配置

拥有8x A100 80GB集群,如何运行Deepseek R1

[原帖询问如何在8个A100 80GB集群或两个集群上运行Deepseek R1,评论给出多种技术建议、指出性能瓶颈、分享经验并存在一些调侃,整体氛围专注且务实]

 ·  · 
硬件与部署 配置

MacBook 8G运行Deepseek R1 Distill可使用GPT4ALL

[围绕在8G内存MacBook上运行Deepseek R1 Distill相关话题展开讨论,涉及GPT4ALL与其他软件运行差异、速度、配置等方面,存在不同观点和比较。]

 ·  · 
硬件与部署 配置

相对经济的671B R1 CPU推理工作站配置,2 - 3T/s

[原帖分享预算2000 - 2500美元的671B R1 CPU推理工作站设置,评论从不同方面展开讨论,包括硬件选择、性能、价格等,氛围以理性探讨为主]

 ·  · 
硬件与部署 配置

张量并行与管道并行所需带宽探究

[原帖询问特定硬件配置下张量并行和流水线并行的带宽需求,评论中有人给出硬件配置相关建议并就pcie接口问题产生争论且有一方认错,有人指出推理场景带宽需求不大,也有人表示不确定答案。]

 ·  · 
硬件与部署 配置

深度探索(Deepseek)部署于华为云

[原帖提及DeepSeek托管于华为云,评论者从多个方面进行讨论,包括对原帖信息的疑惑、与本地模型的相关性、网络托管与推理的关系等,整体氛围较为理性探讨]

 ·  · 
硬件与部署 配置

低成本70b 8位推理设备搭建

[原帖分享低成本70b 8 - bit推理装置的构建详情、成本、性能等,评论围绕硬件各方面如Noctua设备、显卡、GPU温度、功耗等提问、讨论或表示感谢,整体氛围积极友好]

 ·  · 
硬件与部署 配置

DeepSeek R1在4xH100上的运行

[关于如何在4×H100上运行DeepSeek R1的讨论,涉及运行速度、成本、数据准确性等多方面,存在多种不同观点且整体讨论热度较低。]

 ·  · 
硬件与部署 配置

英伟达Project Digits显存速度及基础显存容量

[围绕Nvidia Project Digits的内存速度、基础内存等展开讨论,涉及与其他产品比较、性能分析、性价比、适用场景等多方面,整体氛围以理性分析和质疑为主]

 ·  · 
硬件与部署 配置

使用Open - WebUI测试vLLM - Llama 3 70B Tulu - 4x AMD Instinct Mi60设备 - 速度达26 tok/s

[原帖展示Testing vLLM相关内容,评论有对设备性能的疑问、不同模型尝试的交流、对原帖内容的认可、各种询问,整体讨论热度较低]

 ·  ·