我的DeepSeek R1 671B在家使用计划:CPU+GPU混合,4xGen5 NVMe卸载
[原帖分享DeepSeek R1 671B在家的CPU + GPU混合计划,评论者对计划中的性能、硬件配置、成本等方面表示怀疑、提问、分享经验或给出建议,整体氛围积极且充满技术探讨]
[原帖分享DeepSeek R1 671B在家的CPU + GPU混合计划,评论者对计划中的性能、硬件配置、成本等方面表示怀疑、提问、分享经验或给出建议,整体氛围积极且充满技术探讨]
[原帖询问如何在8个A100 80GB集群或两个集群上运行Deepseek R1,评论给出多种技术建议、指出性能瓶颈、分享经验并存在一些调侃,整体氛围专注且务实]
[围绕在8G内存MacBook上运行Deepseek R1 Distill相关话题展开讨论,涉及GPT4ALL与其他软件运行差异、速度、配置等方面,存在不同观点和比较。]
[原帖分享预算2000 - 2500美元的671B R1 CPU推理工作站设置,评论从不同方面展开讨论,包括硬件选择、性能、价格等,氛围以理性探讨为主]
[原帖询问特定硬件配置下张量并行和流水线并行的带宽需求,评论中有人给出硬件配置相关建议并就pcie接口问题产生争论且有一方认错,有人指出推理场景带宽需求不大,也有人表示不确定答案。]
[原帖提及DeepSeek托管于华为云,评论者从多个方面进行讨论,包括对原帖信息的疑惑、与本地模型的相关性、网络托管与推理的关系等,整体氛围较为理性探讨]
[原帖分享低成本70b 8 - bit推理装置的构建详情、成本、性能等,评论围绕硬件各方面如Noctua设备、显卡、GPU温度、功耗等提问、讨论或表示感谢,整体氛围积极友好]
[关于如何在4×H100上运行DeepSeek R1的讨论,涉及运行速度、成本、数据准确性等多方面,存在多种不同观点且整体讨论热度较低。]
[围绕Nvidia Project Digits的内存速度、基础内存等展开讨论,涉及与其他产品比较、性能分析、性价比、适用场景等多方面,整体氛围以理性分析和质疑为主]
[原帖展示Testing vLLM相关内容,评论有对设备性能的疑问、不同模型尝试的交流、对原帖内容的认可、各种询问,整体讨论热度较低]