硬件与部署 本地部署方案

发布可随处安装的大语言模型LLM Pools端到端部署

[关于LLM Pools的发布,多数评论者表达了兴趣,有肯定赞赏的,也有提出问题如缺少Docker、网页错误等方面的,整体氛围比较积极且多是初步探讨。]

 ·  · 
硬件与部署 本地部署方案

在Linux下使用96GB显存+256GB内存运行DeepSeek - V3

[原帖分享在Linux下运行DeepSeek - V3的操作,评论主要围绕硬件相关问题、运行中的疑问、成本等展开,整体氛围较为技术向且讨论热度不高。]

 ·  · 
硬件与部署 本地部署方案

是否在工作中使用本地大语言模型

[帖子询问是否将工作代码库用于本地LLM并寻求反馈,评论者分享了使用本地LLM的情况、优缺点、相关模型、IP问题及在工作中的应用等,整体氛围较平和且充满干货]

 ·  · 
硬件与部署 本地部署方案

构建保护AI隐私的操作系统

[针对一款宣称保护AI隐私的开源主权云操作系统Olares,评论者对其定义、隐私性、实用性等方面存在质疑,也有少数人看好该项目,整体氛围以质疑为主]

 ·  · 
硬件与部署 本地部署方案

Bartowski Q4_K_M量化版本输出语言转换问题

[在Ollama中运行Bartowski Q4_K_M quant of QVQ - 72b - Preview得到汉语而非英语的问题,大家从不同角度探讨,包括模型兼容、可能的解决方法、运行结果对比等内容,整体氛围较积极探索]

 ·  · 
硬件与部署 本地部署方案

Layla支持手机运行大语言模型时通过Stable Diffusion生成图像

[关于Layla这个可在手机上运行LLMs并通过Stable Diffusion生成图像的应用,评论者们从付费模式、使用体验、配置等多方面进行讨论,整体氛围较为理性且各抒己见]

 ·  · 
硬件与部署 本地部署方案

使用3090使Apollo在本地运行

[原帖作者分享让Apollo在本地与3090工作的成果,评论者们有对技术问题的探讨、对作者的感谢、对相关疑问的提问以及关于文档问题的讨论等,整体氛围积极且充满交流意愿。]

 ·  · 
硬件与部署 本地部署方案

为苹果硬件分叉HunyuanVideo以本地体验类SORA功能

[原帖分享HunyuanVideo在苹果硬件上的分支,评论者表达感谢、兴趣并询问项目相关信息,同时多数人遇到各种技术问题并分享解决过程。]

 ·  · 
硬件与部署 本地部署方案

搭乘12小时航班,128GB M4 Max求2024年12月最佳本地编码模型

[在2024年12月搭乘12小时航班且设备为M4 Max 128GB的背景下,大家针对最佳本地编码模型展开讨论,有多种模型推荐且涉及不同考量因素,整体氛围积极且具有建设性]

 ·  · 
硬件与部署 本地部署方案

本地模型是否为首选

[原帖询问本地模型是否为日常“首选”,评论者们分享了各自在本地模型、专有模型、开源模型等使用上的观点、习惯、偏好以及影响使用的因素,整体氛围较为理性和平和]

 ·  ·