硬件与部署 硬件选择

本地运行大语言模型的最佳硬件

[原帖询问3 - 4千美元预算下运行大型语言模型的最佳硬件,评论者们普遍认为该预算难以实现高速运行大型模型,并且给出了多种硬件选择和相关建议]

 ·  · 
硬件与部署 其他

百倍加速下载Hugging Face模型

[原帖分享加速下载Hugging Face模型的方法,评论从不同角度展开讨论,包括下载速度相关、hf_transfer的特性、替代下载方法等多方面内容,整体氛围积极且充满探索性]

 ·  · 
硬件与部署 其他

深度探寻GPU走私调查:英伟达新加坡GPU销售额占比28%,但仅1%交付该国

[该讨论围绕英伟达新加坡GPU销售与交付数据差异展开,涉及中美科技竞争、美国自身问题、中国发展优势等多方面话题,氛围热烈且多元。]

 ·  · 
硬件与部署 其他

我的新本地推理设备

[原帖分享新的本地推理装置,评论者围绕性能测试、设备相关疑问、技术推荐等方面展开讨论,整体氛围比较积极探索]

 ·  · 
硬件与部署 其他

Jan v0.5.15:进一步控制llama.cpp设置与高级硬件控制等

[Jan v0.5.15版本发布,涵盖多种功能改进,用户在讨论其功能、提出问题、表达喜爱感激的同时也反馈了使用中遇到的问题。]

 ·  · 
硬件与部署 其他

AMD Al Max+ 395(Strix Halo)实测218GB/s的MBW

[围绕AMD Al Max + 395(Strix Halo)的性能、价格,与苹果M4系列对比,还涉及ASUS产品策略及设备体验等内容,大家各抒己见,有比较有分析,氛围理性平和]

 ·  · 
硬件与部署 其他

DeepSeek 1.5B在安卓系统上的应用

[围绕DeepSeek 1.5B在安卓上的情况展开讨论,包括运行体验、模型特性、功能疑问、软件故障修复等方面,整体氛围比较平和且信息交流丰富]

 ·  · 
硬件与部署 其他

华硕Flow Z13电脑AMD 395版评测

[围绕AMD 395(Asus Flow Z13)展开讨论,涉及性能、价格、适用性等多方面,大家看法不一,整体氛围较为理性探讨]

 ·  · 
硬件与部署 本地部署方案

1万美元预算本地运行Deepseek推理:期望的TPS

[原帖询问10k预算在本地运行Deepseek推理的TPS,评论给出多种观点包括预算合理性、硬件选择、性能参考等,整体氛围理性探讨且存在多种不同意见]

 ·  · 
硬件与部署 硬件选择

300人研究所的本地LLM最优设置:软硬件栈建议

[在300人的研究机构部署本地LLM服务器的计划引发讨论,涉及硬件、软件、成本、需求等方面,既有质疑也有赞同和建议]

 ·  ·