硬件与部署 硬件选择

企业实际生产中部署大语言模型的实用数据库

[原帖分享ZenML的LLMOps数据库资源,多数评论表达感谢、认可和赞同,少数表示怀疑,整体氛围积极]

 ·  · 
硬件与部署 硬件选择

AI Linux爱好者使用RTX GPU时可能存在过热无提示情况

[原帖讲述Linux下RTX GPU可能过热却不报错,引发关于GPU过热原因、监测、解决办法、不同系统对比、英伟达责任等多方面讨论,整体氛围积极探索且存在争议。]

 ·  · 
硬件与部署 硬件选择

惠普售卖英伟达A6000

[原帖提到惠普网络星期一销售英伟达A6000,评论主要围绕该显卡及其他相关显卡的性能、价格、购买选择等方面展开讨论,整体氛围比较理性平和]

 ·  · 
硬件与部署 硬件选择

6000美元工作站构建反馈

[原帖寻求6000美元工作站构建反馈,评论从各硬件组件选择、预算、可扩展性等方面给出建议、质疑或分享类似经历,整体氛围积极探讨且观点多元]

 ·  · 
硬件与部署 硬件选择

安培架构显存大于24GB的GPU对比

[原帖对比了大于24GB显存的安培架构GPU,评论围绕A16的特性、不同GPU使用体验、安培GPU价格受新卡影响展开,氛围较理性探讨]

 ·  · 
硬件与部署 硬件选择

NVIDIA GPU的FP16性能列表(面向ExllamaV2/EXUI/TabbyAPI用户)

[原帖给出NVIDIA GPU的FP16性能列表,评论者们从数据来源、准确性、是否符合特定用户需求等多方面展开讨论,整体氛围有质疑也有认可]

 ·  · 
硬件与部署 硬件选择

距离优于两块3090的家庭实验室解决方案还有多远?

[原帖探讨寻找比双3090更好的家庭实验室解决方案,评论涉及多种硬件选择、性价比、性能对比等,整体氛围为积极交流与分享经验。]

 ·  · 
硬件与部署 硬件选择

Epyc Turin双CPU系统STREAM TRIAD内存带宽基准值近1TB/s

[帖子分享了Epyc Turin服务器的基准测试结果,评论围绕其实际性能转化、二手市场情况、在LLM处理中的CPU性能、内存带宽和相关运算等展开讨论,氛围较为理性探讨]

 ·  · 
硬件与部署 硬件选择

双RX 7900 XTX下的AI模型测试

[原帖分享双RX 7900 XTX在Ubuntu系统中的使用情况并寻求提高多GPU推理速度的软件,评论多为推荐解决方案如llama.cpp相关等,还涉及硬件相关话题讨论,氛围较为技术向且积极交流]

 ·  · 
硬件与部署 硬件选择

14英寸M4 Max 128GB是否适合123B模型

[原帖询问是否应购买14英寸M4 Max 128GB用于123B模型,评论者从速度、风扇噪音、温度、电池续航等多方面给出观点和经验,整体氛围理性务实]

 ·  ·