硬件与部署 硬件选择

使用Epyc 7713、512GB内存和14个RTX 3090直播运行DeepSeek R - 1 671B - q4与KTransformers

[原帖作者直播在特定设备上运行DeepSeek R - 1 671B - q4相关测试,评论者围绕技术测试本身、硬件配置、成本效益、版本等多方面展开讨论,整体氛围比较积极且话题多样]

 ·  · 
硬件与部署 其他

AMD允许混合NPU+iGPU推理

[AMD允许混合NPU + iGPU推理引发讨论,有人质疑数据缺失、对仅展示8b模型性能失望、探讨显存分配等问题,也有人对比苹果相关操作并提及技术限制等内容]

 ·  · 
硬件与部署 其他

AMD否认Radeon RX 9070 XT有32GB内存的传闻

[AMD否认Radeon RX 9070 XT有32GB内存的传闻引发讨论,主要观点围绕内存是否足够、AMD的产品策略、市场影响等,氛围有失望也有调侃]

 ·  · 
硬件与部署 推理速度优化

可在Mac神经引擎上运行模型

[原帖分享可在Mac神经引擎运行模型的Anemll项目,评论者对该项目及相关技术从不同角度展开讨论,包括技术细节、潜在影响、项目前景等,整体氛围积极且充满好奇]

 ·  · 
硬件与部署 其他

AMD锐龙AI MAX+ 395“Strix Halo”迷你PC测试:强大的APU,高达140W功率,iGPU可变内存达128GB

[围绕AMD Ryzen AI MAX + 395 “Strix Halo” Mini PC展开多方面讨论,包括性能、价格、与其他设备对比、在LLMs中的应用等,存在不同看法且氛围较理性。]

 ·  · 
硬件与部署 本地部署方案

DeepSeek R1 671B本地运行

[关于DeepSeek R1 671B本地运行的讨论,涉及硬件性能、运行速度、模型运行等方面,大家分享各自的经验、疑问与观点,整体氛围较技术向]

 ·  · 
硬件与部署 成本计算

OpenAI Whisper转录400小时音视频的成本及类似质量的低成本替代方案

[原帖寻求Open AI Whisper转录400小时音视频的低成本高效方案,评论给出多种选择如Groq、在树莓派本地运行、使用YouTube等,同时涉及成本计算、隐私、技术能力等多方面讨论,氛围积极且充满干货]

 ·  · 
硬件与部署 其他

W7900 GPU相关讨论:ROCm是否可用于本地AI?

[围绕AMD GPU用于本地AI的话题展开讨论,涉及不同型号GPU的运行情况、性价比、支持情况等方面,总体氛围较为客观探讨]

 ·  · 
硬件与部署 其他

组建能运行70B本地大语言模型的PC

[原帖询问谁能构建可处理70B本地LLMs的PC,评论围绕不同硬件设备(如各种GPU、苹果设备等)的配置、性能、成本展开,氛围积极且充满干货分享。]

 ·  · 
硬件与部署 本地部署方案

微软发布适用于骁龙Windows系统NPU的DeepSeek蒸馏Qwen 1.5B模型

[微软发布针对骁龙X Plus/Elite笔记本电脑上六边形NPU的Qwen 1.5B DeepSeek Distilled本地模型,评论涉及模型用途、骁龙相关产品的看法、技术分析等,有争议也有期待,氛围较积极]

 ·  ·