硬件与部署 本地部署方案

发布OpenArc:用于Intel设备更快推理的Python服务API

[原帖发布OpenArc项目,大家主要表示认可,部分人期待项目后续成果,也有人对其性能比较感兴趣,整体氛围积极]

 ·  · 
硬件与部署 性能对比

DeepSeek - R1仅使用CPU时的性能(671B,Unsloth 2.51位,UD - Q2_K_XL)

[原帖讨论DeepSeek - R1在CPU上的性能,评论者们从不同CPU型号的性能对比、性能提升方法、线程数量影响、硬件相关问题等多方面进行了讨论]

 ·  · 
硬件与部署 其他

Ollama在安卓端的最佳推理:OLLAMA+OPEN - WEBUI+TERMUX

[该讨论围绕OLLAMA + OPEN - WEBUI + TERMUX在安卓系统中的ollama推理展开,涉及功能比较、使用体验、不同工具对比等内容,整体氛围积极且充满技术探讨。]

 ·  · 
硬件与部署 硬件选择

2025年运行大型语言模型的预期

[围绕2025年运行大语言模型(LLMs)所需的硬件、模型等展开讨论,包括对硬件性能的看法、不同硬件选择及成本,还有对未来的期待与消极预期等,讨论氛围较为理性务实]

 ·  · 
硬件与部署 配置

分布式DeepSeek R1推理

[关于在多台主机的不同GPU上分布式运行DeepSeek 671b的问题,大家分享了各自的运行经验、提出多种建议并对速度、可行性等进行了讨论,整体氛围积极探讨技术问题。]

 ·  · 
硬件与部署 其他

8块RTX 3090开放式设备

[围绕8x RTX 3090开放设备展开多方面讨论,包括性能、成本、构建、散热等,有技术交流、好奇提问、观点分享,氛围比较活跃积极。]

 ·  · 
硬件与部署 推理速度优化

5090的推理速度

[原帖讨论5090的推理速度,评论围绕5090的价格、供应、性能对比、游戏适用性等方面展开,有技术分析、购买体验分享、对测试的质疑等多种观点,整体氛围较活跃。]

 ·  · 
硬件与部署 其他

仅需一堆H100

[围绕是否会有中国公司推出大量VRAM且低价的GPU展开讨论,涉及各类硬件产品情况、技术相关问题,还夹杂着一些与主题不直接相关的个人话题如哈利·波特电影,整体氛围较理性且话题分散]

 ·  · 
硬件与部署 硬件选择

RXs 7600 XT为何未被使用?

[原帖询问为何不使用RX 7600 XT,评论围绕RX 7600 XT和RTX 3090展开,涉及价格、性能、软件支持等多方面的比较,整体氛围比较理性且讨论内容丰富]

 ·  · 
硬件与部署 本地部署方案

使用ChatGPT 4o模型做写作编辑,是否应改用本地模型

[原帖询问用ChatGPT 4o模型做写作编辑是否应改用本地模型,评论者从硬件、成本、性能等多方面进行讨论,整体氛围较为理性探讨]

 ·  ·