硬件与部署 硬件选择

你能推荐一个能在GPU上运行的嵌入模型吗?

Reddit用户在寻找适用于GPU的高效嵌入模型,以处理大量文本和PDF文件,讨论中提供了多个模型推荐和使用建议。

 ·  · 
硬件与部署 硬件选择

捡到一个用于测试的挖矿设备...

讨论围绕挖矿设备的硬件配置、性能优化和市场趋势展开,涉及显卡、主板、电源和散热系统的选择与升级。

 ·  · 
硬件与部署 硬件选择

AMD希望用新代码解锁MI300的全部潜力

讨论围绕AMD MI300系列处理器的价格、软件支持和市场竞争力展开,涉及其与Nvidia的竞争和开放源代码策略的优势。

 ·  · 
硬件与部署 硬件选择

适用于普通PC的最佳总结型LLM?

讨论围绕在普通PC上使用大型语言模型(LLM)进行文本摘要的最佳实践,涉及模型选择、硬件配置、量化技术等多个方面,形成了一系列有价值的见解和建议。

 ·  · 
硬件与部署 硬件选择

为工作购买新的苹果笔记本电脑 - 目前没有进行"AI"工作,但对公司来说有兴趣,36GB vs 48GB vs 96GB统一内存的机会有什么重大变化吗?

讨论围绕购买新Apple MacBook Pro时选择不同内存配置(36GB、48GB、96GB)的问题展开,特别是对于未来可能涉及的AI开发工作的考虑,涉及性能、成本和未来技术发展的预测。

 ·  · 
硬件与部署 硬件选择

使用nvidia-pstated实现P40自动电源管理

Reddit用户讨论了新发布的nvidia-pstated守护程序,该程序能自动调整GPU电源状态,显著降低空闲功耗,并探讨了其对不同GPU型号的支持和配置优化。

 ·  · 
硬件与部署 硬件选择

关于仅使用CPU(双通道DDR5 96GB)推理设置的问题:预算应优先考虑内存速度还是CPU核心/速度?

讨论集中在预算有限的情况下,选择CPU-ONLY推理设置时,应优先考虑内存速度还是CPU核心/速度,涉及便携性、低功耗和内存管理等多个方面。

 ·  · 
硬件与部署 硬件选择

最佳NSFW VLM用于图像标注?

Reddit用户在寻找适合处理NSFW图像的视觉语言模型,讨论了多个模型的优劣和具体需求,寻求自动化和高质量的图像描述生成解决方案。

 ·  · 
硬件与部署 硬件选择

这张卡对Local Llama来说值得吗?

讨论围绕AMD Radeon RX 7600 XT显卡的性能、适用性及在AI应用中的表现,涉及多GPU配置、ROCm支持、价格和用户体验等多个方面。

 ·  · 
硬件与部署 硬件选择

2个半插槽的24GB GPU?

Reddit用户在讨论如何在空间有限的HP Z6工作站中安装24GB显卡,涉及价格、水冷方案、噪音和风险评估。

 ·  ·