硬件与部署 硬件选择

大家都在使用什么硬件?

[原帖询问大家运行本地LLMs的硬件情况,评论者们分享了自己使用的硬件设备、配置、运行模型的速度、效率以及硬件升级情况,还有人解释了量化概念。]

 ·  · 
硬件与部署 硬件选择

若DeepSeek获20万Blackwell GPU,AI模型会提升多少

[该讨论围绕AI模型展开,探讨了诸如增加GPU数量、模型效率、推理质量提升、训练数据等多方面内容,整体氛围较为理性且讨论热度低。]

 ·  · 
硬件与部署 本地部署方案

Janus Pro 1B基于Transformers.js在WebGPU上实现100%本地浏览器运行

[xenovatech发布Janus Pro 1B在WebGPU的浏览器中100%本地运行的消息并给出相关链接,评论者围绕其功能、运行环境、技术关联等提问,也有部分人分享自己的使用体验和遇到的问题]

 ·  · 
硬件与部署 硬件选择

如何确定Deepseek R1的训练成本约为600万美元

[围绕Deepseek R1训练成本约600万美元这一说法展开讨论,存在多种观点且不确定性较大,同时还涉及到OpenAI相关话题及中国竞争力等方面的讨论,整体氛围理性探讨为主]

 ·  · 
硬件与部署 推理速度优化

Deepseek R1在Groq上能否加快思考速度?

[围绕Deepseek R1在Groq上运行是否会使其思考更快展开讨论,涉及硬件需求、模型性能、速度准确性权衡等方面,讨论氛围较为理性]

 ·  · 
硬件与部署 其他

本地推理是未来趋势

[原帖提到本地推理是未来,但评论者从数据容纳、推理效率、硬件性能、成本盈利等多方面表达否定或提出疑问,整体讨论氛围充满争议]

 ·  · 
硬件与部署 其他

DeepSeek Chat在新闻和炒作后开始变慢

[DeepSeek Chat在新闻和炒作后出现变慢、登录失败、聊天记录加载不出等问题,大家讨论了其可能的原因如需求高、未做好规模扩充、人员涌入、网络攻击等,还提及本地模型发展空间等相关话题,整体氛围偏向理性分析]

 ·  · 
硬件与部署 硬件选择

急需为开源大语言模型创建"能否运行"工具

[原帖希望创建一个判断开源LLM能否在设备上运行的工具,评论围绕此展开,提到了一些现有工具及其问题、硬件对模型运行的影响等,氛围比较理性探讨]

 ·  · 
硬件与部署 配置

英伟达Project Digits显存速度及基础显存容量

[围绕Nvidia Project Digits的内存速度、基础内存等展开讨论,涉及与其他产品比较、性能分析、性价比、适用场景等多方面,整体氛围以理性分析和质疑为主]

 ·  · 
硬件与部署 性能对比

华为910C性能将是910B的两倍

[原帖传出华为910C将使性能翻倍等相关信息,评论围绕华为910C的TDP、内存、定价等方面展开讨论,也涉及华为受打压、竞争等宏观话题,整体氛围以理性探讨为主]

 ·  ·