硬件与部署 硬件选择

新型GPU问世,具备可扩展内存

[关于一款带有可扩展内存的RISC - V GPU,大家从性能、软件支持、实用性等多方面进行讨论,整体氛围充满质疑与争议]

 ·  · 
硬件与部署 硬件选择

8GB显存、16GB内存下的最佳运行模型

[原帖分享特定硬件下运行较好的模型,评论者们围绕推荐模型、模型在编码等应用中的表现、不同模型的对比、在8GB内存机器上的运行情况展开讨论。总体氛围积极交流。]

 ·  · 
硬件与部署 硬件选择

不计成本下运行Llama 3.3的理想系统

[围绕如果钱不是问题时运行Llama 3.3的系统选择展开讨论,包括各种硬件设备、对Llama 3.3构建系统的必要性以及相关成本、能源等方面的考虑,整体氛围较为轻松且充满创意]

 ·  · 
硬件与部署 硬件选择

微小盒子使用体验

[原帖询问tinybox的用户评价以便推荐给客户,评论者们围绕tinybox是否值得推荐展开讨论,涉及缺货、价格、性能等多方面内容,氛围比较理性且观点多样]

 ·  · 
硬件与部署 硬件选择

无需GPU的快速音频生成 - Orpheus.cpp

[围绕Orpheus.cpp项目展开讨论,涉及项目命名、与其他项目协同工作、语音克隆功能、使用方法等方面,整体氛围积极且充满技术探讨]

 ·  · 
硬件与部署 硬件选择

适用于3060显卡的可用模型

[Reddit用户分享在3060显卡上使用的模型、用途及相关体验,整体氛围积极且充满干货]

 ·  · 
硬件与部署 硬件选择

运行约300亿参数模型的最佳硬件

[原帖询问运行约30b模型的最佳硬件,尤其是在自身没有较好GPU且想要便携设备的情况下,评论给出了多种硬件推荐、租用建议以及关于模型微调的看法]

 ·  · 
硬件与部署 硬件选择

本地工作站构建的抉择

[原帖作者计划构建工作站,分享了自己的配置并在自己的配置和Mac M3 ultra mac studio之间纠结,评论者从硬件、系统、模型运行等方面给出看法和建议,整体氛围比较和谐]

 ·  · 
硬件与部署 硬件选择

大学欲自托管大语言模型,求建议与硬件需求

[大学打算自托管大型语言模型,寻求建议和硬件需求估计,评论给出多种观点,包括硬件选择、资金、部署方式等方面的建议]

 ·  · 
硬件与部署 硬件选择

AMD将推Strix Halo桌面版,CEO苏姿丰受访证实

[围绕AMD将Strix Halo带到桌面端这一消息展开讨论,涉及硬件配置、性能、价格等多方面,有期待、质疑等不同态度]

 ·  ·