硬件与部署 配置

8个GPU的6U机箱配置技巧

[原帖询问6U机架箱装8个GPU的相关建议,评论围绕机箱选择、散热、性价比、设备温度等方面展开,有推荐、经验分享、疑问和反对等不同观点]

 ·  · 
硬件与部署 配置

DeepSeek v3在2个M2 Ultra上以17 tps运行(使用MLX.distributed)

[围绕DeepSeek v3在2x M2 Ultra上以17 tps运行展开讨论,涉及成本、性能、速度等多方面,有质疑、好奇与认可等多种态度]

 ·  · 
硬件与部署 配置

DeepSeek生成价值1美元的代币无需5小时,通过批处理约1分钟即可

[关于DeepSeek生成价值1美元的令牌所需时间,原帖认为约5小时,有评论者认为原帖有误导性应为约1分钟,也有评论者支持原帖未误导,同时还涉及从不同视角(如消费者、提供商)看待DeepSeek相关的成本、效率等话题的讨论]

 ·  · 
硬件与部署 配置

M4 Mac Mini AI集群运行DeepSeek - V3

[该帖子围绕在M4 Mac Mini AI集群上运行DeepSeek - V3展开讨论,涉及模型运行的功耗、性价比、与3090集群对比、设备需求成本等话题,整体氛围以技术探讨为主。]

 ·  · 
硬件与部署 配置

Intel Arc B580上ComfyUI安装指南与示例基准测试

[原帖分享在Intel Arc B580 LE上安装ComfyUI及相关基准测试,评论涉及SDXL性能分析、与NVIDIA GPU对比、新卡性能疑惑、寻求视频教程等多方面内容,整体氛围较为积极探索]

 ·  · 
硬件与部署 配置

大规模LLM部署的经验分享

[原帖作者想为公司员工部署聊天机器人替代ChatGPT,面临预算少、可扩展性等问题,评论者们从模型选择、前端、技术架构等多方面给出建议]

 ·  · 
硬件与部署 配置

分享你的通义千问编码者2.5设置耗时

[Reddit用户们分享了Qwen Coder 2.5相关的版本、设备配置、运行速度、T/s数据、模型评价等内容,整体氛围积极,同时也存在一些质疑的声音。]

 ·  · 
硬件与部署 配置

构建8x4090服务器的方法

[围绕如何构建8x4090服务器展开讨论,包含硬件选择、性能、成本、合规性等多方面观点,整体氛围积极且充满探索性]

 ·  · 
硬件与部署 配置

4090上Qwen 2.5的最佳设置分享

原帖主寻求在4090上设置qwen2.5的最佳配置,评论者们分享了各自的配置、性能表现、遇到的问题及解决建议,整体氛围积极技术向。

 ·  · 
硬件与部署 配置

使用4台M4 Pro Mac Minis与雷电5(80Gbps)互联分布大型语言模型

[围绕在4个M4 Pro Mac Minis + Thunderbolt 5互联上分布大型语言模型展开讨论,涉及性能、成本、模型运行等多方面,有对该设置的疑惑、比较,也有对LLMs的负面评价]

 ·  ·