硬件与部署 硬件选择

300人研究所的本地LLM最优设置:软硬件栈建议

[在300人的研究机构部署本地LLM服务器的计划引发讨论,涉及硬件、软件、成本、需求等方面,既有质疑也有赞同和建议]

 ·  · 
硬件与部署 硬件选择

2025年运行大型语言模型的预期

[围绕2025年运行大语言模型(LLMs)所需的硬件、模型等展开讨论,包括对硬件性能的看法、不同硬件选择及成本,还有对未来的期待与消极预期等,讨论氛围较为理性务实]

 ·  · 
硬件与部署 硬件选择

RXs 7600 XT为何未被使用?

[原帖询问为何不使用RX 7600 XT,评论围绕RX 7600 XT和RTX 3090展开,涉及价格、性能、软件支持等多方面的比较,整体氛围比较理性且讨论内容丰富]

 ·  · 
硬件与部署 硬件选择

4060 ti 16GB显卡情况探秘

[原帖探讨4060 ti 16gb卡作为预算选项却未被更多提及的原因,评论从性能、性价比、功耗等多方面进行分析,整体氛围理性且讨论深入]

 ·  · 
硬件与部署 硬件选择

考虑购买Mac Studio运行本地大语言模型,高内存下GPU核心数是否值得多花1000美元

[原帖询问购买Mac Studio用于运行本地LLMs时GPU核心数多花1000美元是否值得,评论大多不建议现在购买Mac Studio,理由包括新产品即将推出、性价比低等,同时还提及其他硬件选择]

 ·  · 
硬件与部署 硬件选择

使用Epyc 7713、512GB内存和14个RTX 3090直播运行DeepSeek R - 1 671B - q4与KTransformers

[原帖作者直播在特定设备上运行DeepSeek R - 1 671B - q4相关测试,评论者围绕技术测试本身、硬件配置、成本效益、版本等多方面展开讨论,整体氛围比较积极且话题多样]

 ·  · 
硬件与部署 硬件选择

RTX 3060与低显存新显卡运行本地LLM对比

[围绕在本地运行LLM时VRAM是否越多越好展开讨论,有观点认为足够即可,也有观点认为越多越好,还涉及不同显卡的比较等内容,整体讨论热度较高且观点多样]

 ·  · 
硬件与部署 硬件选择

以低成本配置为灵感的6U、p104 - 100设备搭建

[原帖分享了一个相对成本高效的6U硬件构建,评论围绕硬件组件选择、性能、价格、供电以及模型测试等方面展开,氛围比较理性且有一定的探讨性]

 ·  · 
硬件与部署 硬件选择

中国显卡或为家庭实验室提供48GB显存

[围绕中国GPU制造商可能推出48GB显存的显卡,大家讨论了AMD和英伟达的显存策略、市场竞争、价格、安全等多方面因素,同时也涉及到中国科技发展相关话题,观点多样且有不少人对中国显卡表示期待]

 ·  · 
硬件与部署 硬件选择

用于大型语言模型推理的专用集成电路

[原帖探讨制作用于LLM推理的ASIC卡的市场前景,评论者从不同角度发表看法,包括市场潜力、与其他硬件比较、硬件需求等,讨论氛围较积极且观点多元]

 ·  ·