硬件与部署 其他

不足1000美元搭建70B IQ3_M 8192ctx的简陋方案

[帖子标题提到一种设备设置,评论围绕设备相关话题展开,包括功率、硬件配置、不同设备性能、技术配置等,讨论氛围较为平淡,各自分享观点和经验。]

 ·  · 
硬件与部署 其他

多GPU设备插3张或更多显卡时Nvidia - SMI显示ERR!

[原帖提到多GPU设备(3张或更多显卡)Nvidia - SMI显示ERR!,评论给出多种可能原因如旧驱动、硬件问题等,并提供多种排查建议和解决方案。]

 ·  · 
硬件与部署 其他

RTX 3090设备的Oculink 4x4x4x4适配

[该帖子围绕RTX 3090 rig的Oculink 4x4x4x4“dry fit”展开讨论,涉及项目进展、硬件相关话题如速率、连接器、供电、机箱选择等,还有测试、消费合理性等方面的观点交流,整体氛围较为积极且具有技术探讨性]

 ·  · 
硬件与部署 其他

预算内的3x3090硬件配置

[帖子展示了带有PLA护罩、串列支撑且低成本的3个3090设备,评论者表达喜爱、惊叹,有人询问预算,作者分享项目经历、后续计划,还有人围绕硬件相关的机箱制作、液体冷却、硬件配置等展开讨论,氛围积极和谐]

 ·  · 
硬件与部署 硬件选择

4060 ti 16GB显卡情况探秘

[原帖探讨4060 ti 16gb卡作为预算选项却未被更多提及的原因,评论从性能、性价比、功耗等多方面进行分析,整体氛围理性且讨论深入]

 ·  · 
硬件与部署 配置

Deepseek R1 Distill 8B在4个树莓派5 8GB上的性能

[原帖展示Deepseek R1 Distill 8B在4个树莓派5 8GB上的运行情况,评论者态度多为积极,也存在疑惑和提问,话题围绕模型、性能、硬件等方面展开]

 ·  · 
硬件与部署 推理速度优化

LMStudio beta中的推测性解码效果很棒

[原帖分享在LMStudio下推测性解码效果好,评论者围绕在不同设备和模型下推测性解码的结果、性能提升情况、遇到的问题等展开讨论,整体氛围较为理性探讨]

 ·  · 
硬件与部署 本地部署方案

基于老旧设备搭建AI服务器项目

[原帖介绍在低配置设备上搭建AI服务器的指南,评论者大多表示赞同并提出相关建议、推荐项目或进行技术交流]

 ·  · 
硬件与部署 硬件选择

考虑购买Mac Studio运行本地大语言模型,高内存下GPU核心数是否值得多花1000美元

[原帖询问购买Mac Studio用于运行本地LLMs时GPU核心数多花1000美元是否值得,评论大多不建议现在购买Mac Studio,理由包括新产品即将推出、性价比低等,同时还提及其他硬件选择]

 ·  · 
硬件与部署 其他

DeepSeek发布R1部署推荐设置

[该讨论围绕DeepSeek - R1部署设置展开,涉及设置内容、词语含义、对设置的疑问、使用经验分享等,既有积极态度也有负面评价]

 ·  ·