硬件与部署 其他

超高效瓦/令牌的FPGA LLM推理服务器

[围绕FPGA LLM推理服务器展开讨论,涉及价格、效率、销售对象等方面,有对其性能和前景的不同看法,整体氛围比较理性探讨]

 ·  · 
硬件与部署 供应与配置

英伟达是否正在成为人工智能发展的瓶颈?

[围绕英伟达是否成为AI发展瓶颈展开讨论,涉及硬件供应、竞争、商业策略等多方面因素,观点有分歧且讨论较为深入全面,氛围热烈且充满争议]

 ·  · 
硬件与部署 其他

96GB显存与128GB DDR4下的R1(1.73bit)

[原帖关于R1 (1.73bit)在特定显存和内存下的运行情况,评论围绕性能、速度、硬件配置、量化方式等多方面展开讨论,氛围比较理性客观。]

 ·  · 
硬件与部署 硬件选择

以低成本配置为灵感的6U、p104 - 100设备搭建

[原帖分享了一个相对成本高效的6U硬件构建,评论围绕硬件组件选择、性能、价格、供电以及模型测试等方面展开,氛围比较理性且有一定的探讨性]

 ·  · 
硬件与部署 硬件选择

中国显卡或为家庭实验室提供48GB显存

[围绕中国GPU制造商可能推出48GB显存的显卡,大家讨论了AMD和英伟达的显存策略、市场竞争、价格、安全等多方面因素,同时也涉及到中国科技发展相关话题,观点多样且有不少人对中国显卡表示期待]

 ·  · 
硬件与部署 性能对比

RTX 5090在GPU计算基准测试中未能超越RTX 4090

[围绕RTX 5090在GPU计算基准测试中未能超越RTX 4090展开讨论,涉及多种可能原因、不同显卡性能特点、测试相关问题以及对NVIDIA的质疑等内容,整体讨论氛围较为热烈且观点多元]

 ·  · 
硬件与部署 配置

我的DeepSeek R1 671B在家使用计划:CPU+GPU混合,4xGen5 NVMe卸载

[原帖讲述My DeepSeek R1 671B的在家计划,评论围绕设备性能、模型量化、计划成本等提问、质疑或分享相关经验,整体氛围较理性]

 ·  · 
硬件与部署 其他

低成本构建大语言模型优化的Linux服务器

[关于构建低成本LLM优化Linux服务器的文章受到诸多质疑,主要在硬件配置、技术性能、成本等方面被指存在问题,总体氛围偏向反对]

 ·  · 
硬件与部署 本地部署方案

本地运行哪些模型?

[Reddit用户分享自己本地运行的模型及其相关情况,包括运行原因、性能表现、适用场景等,整体氛围较为平和且技术交流性强]

 ·  · 
硬件与部署 本地部署方案

Kokoro WebGPU:浏览器内100%本地运行的实时文本转语音

[Kokoro WebGPU在浏览器本地100%运行实时文本到语音功能引发讨论,有赞扬、提问、期待等多种观点,整体氛围积极且充满探索性]

 ·  ·