硬件与部署 硬件选择

大多数Epyc Genoa CPU的内存带宽值(STREAM TRIAD基准测试结果)(单配置和双配置)

讨论围绕 AMD Epyc Genoa CPU 的内存带宽问题展开,涉及虚假宣传、实际性能、价格和购买渠道等多个方面。

 ·  · 
硬件与部署 硬件选择

40GB显存巨兽:双显卡(7900 XTX & 7800 XT)与Ryzen 7 7700X性能测试 - 需要基准测试想法!

讨论围绕一台配备双GPU(7900 XTX & 7800 XT)和Ryzen 7 7700X处理器的电脑的性能测试和优化展开,涉及AI模型运行、硬件配置和未来升级计划。

 ·  · 
硬件与部署 硬件选择

AMD可能正在扼杀8000系列的高端消费级GPU(如果是这样,那就太短视了)

讨论围绕AMD可能放弃高端消费级GPU市场,转而专注于数据中心GPU的策略展开,涉及开发者需求、市场竞争、功耗问题等多方面观点。

 ·  · 
硬件与部署 硬件选择

低成本4路GTX 1080搭配35GB显存推理PC

讨论围绕低成本4路GTX 1080显卡配置的推理PC展开,探讨了其优缺点、性能优化、功耗问题及替代方案。

 ·  · 
硬件与部署 硬件选择

平均而言,网站和AI聊天机器人平台为使70亿参数模型对用户可用,需要向托管服务支付多少费用?

讨论围绕70亿参数模型的托管费用展开,涉及量化方法、云服务提供商选择、硬件成本及自托管等话题,总体氛围偏向技术探讨和成本优化。

 ·  · 
硬件与部署 硬件选择

5090发布后价格下降

讨论围绕5090显卡发布后3090和4090显卡的价格走势展开,主要观点包括价格可能上涨、下降或保持稳定,取决于5090的性能提升、市场需求和供应情况。

 ·  · 
硬件与部署 硬件选择

非NVIDIA GPU的AI基础设施(以及我们的JAX之旅)

讨论围绕非 NVIDIA GPU 的 AI 基础设施建设,特别是 TPU 和 AMD GPU 的应用,涉及技术挑战、资源需求、教程需求和硬件普及等话题。

 ·  · 
硬件与部署 硬件选择

本地LLM基本上可以在任何机器上运行,但最新的RTX显卡能让它运行得更快吗?

讨论围绕在低配置机器上运行本地大型语言模型(LLM)的可行性和性能优化展开,涉及硬件配置、内存带宽、显卡选择等关键因素。

 ·  · 
硬件与部署 硬件选择

我可以用64GB内存和16GB显存运行什么最好的模型?

讨论围绕在拥有64GB RAM和16GB VRAM的RTX 4090笔记本电脑上运行最佳模型展开,主要关注模型的推理速度和适用性,涉及多种模型推荐和量化设置的讨论。

 ·  · 
硬件与部署 硬件选择

有人能确认他们在Ubuntu 24.04上使用llama.cpp成功运行了AMD 6700xt与ROCm吗?

讨论围绕AMD 6700xt在Ubuntu 24.04上与ROCm和llama.cpp的兼容性问题展开,涉及环境变量设置、安装指南和错误信息,最终有用户成功解决并分享经验。

 ·  ·