硬件与部署 硬件选择

在Mac Mini M4 Pro上运行Llama 3.2 3B和Llama 3.3 70B模型

[原帖作者测试Llama模型在Mac Mini M4 Pro上的运行情况,评论者们围绕模型性能、设备性价比、速度等方面展开讨论,有提供建议的,也有提出质疑的,整体氛围比较理性探讨]

 ·  · 
硬件与部署 硬件选择

我的家庭实验室搭建:4块RTX 3090超强组合

[原帖分享了包含4个RTX 3090的家庭实验室构建,评论围绕硬件性价比、工作负载、模型相关等话题展开,整体氛围多元,有赞赏也有批评]

 ·  · 
硬件与部署 硬件选择

AMD GPU用于大型语言模型(LLM)的可行性

[帖子探讨了使用AMD GPU运行LLMs的相关问题,包括性能、软件支持等方面,评论中既有对AMD GPU的肯定也有否定,整体讨论氛围比较理性。]

 ·  · 
模型与技术 硬件选择

8GB显存下的最佳可运行模型

[提问者询问8GB VRAM的Nvidia 4070 GPU笔记本能运行的最佳模型,众多评论者纷纷推荐不同模型,整体氛围比较和谐、专注于提供信息。]

 ·  · 
硬件与部署 硬件选择

5万美元构建本地大语言模型:硬件推荐

[原帖主申请50,000美元构建本地LLM设置,寻求硬件和软件推荐,评论给出众多硬件推荐,同时也在本地设备与云服务上存在争议]

 ·  · 
硬件与部署 硬件选择

4090运行Llama 3.3的快速反馈

[原帖讲述Llama 3.3在4090上的运行情况,评论主要围绕不同设备运行Llama相关模型的性能、速度、量化设置以及多GPU运行等方面展开讨论]

 ·  · 
硬件与部署 硬件选择

以6块GTX 1080 GPU配置系统,性能出色

[原帖分享配置6个GTX 1080 GPU的系统及性能感受,评论主要围绕硬件相关话题展开,包括性能对比、硬件配置、软件测试等,氛围较为平和且充满技术探讨]

 ·  · 
硬件与部署 硬件选择

LM Studio终可在NPU(高通骁龙Copilot+ PC)上运行

[关于LM Studio在高通骁龙Copilot + PC的NPU上运行这一事件,大家从硬件性能、模型情况、成本、能效等多方面展开讨论,氛围积极且充满好奇。]

 ·  · 
硬件与部署 硬件选择

英特尔战戟(Battlemage)GPU发布

[围绕Intel Battlemage GPUs展开讨论,涉及性能、价格、显存、软件兼容性等多方面,既有对其性价比的肯定,也有对其缺乏吸引力、价格过高的否定,同时与AMD和NVIDIA进行对比,对Intel GPU在LLM用途等方面的表现也有不同看法]

 ·  · 
硬件与部署 硬件选择

VLLM支持AMD Radeon GPU运行gguf

[帖子关于AMD GPU相关内容,评论主要围绕AMD GPU与Nvidia对比、性能、特定技术支持等方面展开,既有肯定也有质疑,整体氛围比较多元]

 ·  ·