硬件与部署 本地部署方案

实时低延迟语音聊天模型问世

[该帖讨论一个实时低延迟语音聊天模型,大家分享试用体验,有很多正面评价,对模型的功能、应用场景、发展潜力等多方面进行了讨论,整体氛围积极且充满期待]

 ·  · 
硬件与部署 本地部署方案

使用本地大语言模型为代码助手提供动力的体验

[帖子询问本地LLMs用于代码助手的体验,评论分享了不同模型(如Qwen等)使用体验、遇到的问题、对比情况、基准测试等内容,同时也包含少量无关提醒指令的评论,整体氛围比较理性务实]

 ·  · 
硬件与部署 本地部署方案

DeepSeek无系统指令时的奇特自我感知,本地与Unity协作

[帖子关于在本地使用DeepSeek与Unity相关,评论涉及DeepSeek本地版本获取、在游戏中选择LLM模型、DeepSeek无指令的类比、特定版本的运行情况以及对LLMs用于游戏的期待等内容,整体氛围较为积极平和]

 ·  · 
硬件与部署 本地部署方案

在桌面成功部署本地LLaMA后该怎么做

[原帖作者在桌面运行本地LLaMA不知如何让其产生生产力,评论涉及本地LLM实用性、硬件需求、编程用途等多方面观点,氛围较为积极且富有建设性。]

 ·  · 
硬件与部署 本地部署方案

1万美元预算本地运行Deepseek推理:期望的TPS

[原帖询问10k预算在本地运行Deepseek推理的TPS,评论给出多种观点包括预算合理性、硬件选择、性能参考等,整体氛围理性探讨且存在多种不同意见]

 ·  · 
硬件与部署 本地部署方案

发布OpenArc:用于Intel设备更快推理的Python服务API

[原帖发布OpenArc项目,大家主要表示认可,部分人期待项目后续成果,也有人对其性能比较感兴趣,整体氛围积极]

 ·  · 
硬件与部署 本地部署方案

使用ChatGPT 4o模型做写作编辑,是否应改用本地模型

[原帖询问用ChatGPT 4o模型做写作编辑是否应改用本地模型,评论者从硬件、成本、性能等多方面进行讨论,整体氛围较为理性探讨]

 ·  · 
硬件与部署 本地部署方案

基于老旧设备搭建AI服务器项目

[原帖介绍在低配置设备上搭建AI服务器的指南,评论者大多表示赞同并提出相关建议、推荐项目或进行技术交流]

 ·  · 
硬件与部署 本地部署方案

DeepSeek R1 671B本地运行

[关于DeepSeek R1 671B本地运行的讨论,涉及硬件性能、运行速度、模型运行等方面,大家分享各自的经验、疑问与观点,整体氛围较技术向]

 ·  · 
硬件与部署 本地部署方案

微软发布适用于骁龙Windows系统NPU的DeepSeek蒸馏Qwen 1.5B模型

[微软发布针对骁龙X Plus/Elite笔记本电脑上六边形NPU的Qwen 1.5B DeepSeek Distilled本地模型,评论涉及模型用途、骁龙相关产品的看法、技术分析等,有争议也有期待,氛围较积极]

 ·  ·