硬件与部署 本地部署方案

在本地低端RTX3000 GPU上运行Llama的最佳方式

[原帖询问在本地低端RTX3000 GPU上运行llama的最佳方式,评论给出了多种方式并对部分方式展开讨论,整体氛围较为和谐]

 ·  · 
硬件与部署 本地部署方案

使用Docker Compose运行本地AI栈

[关于使用docker compose运行本地AI栈的帖子,大家主要讨论了栈的测试、与其他项目比较、功能扩展等,有认可也有指出问题,整体讨论热度低]

 ·  · 
硬件与部署 本地部署方案

本地语音转文本(STT)方案寻求

[原帖寻求本地安装且词错误率低于20%的语音转文本解决方案,评论者们给出了多种方案如Whisper的改进版本、WhisperX等,还分享了迁移经历、新开源模型等,整体氛围积极且充满信息交流]

 ·  · 
硬件与部署 本地部署方案

在家搭建类似Elevenlabs的语音合成系统难度如何

[原帖询问建立类似Elevenlabs的本地文本到语音设置的难度,评论者们纷纷推荐不同的模型或软件,分享自己的使用经验,讨论中涉及到各模型的优缺点、资源利用、语音质量等方面。]

 ·  · 
硬件与部署 本地部署方案

本地大模型上AI助手本地运行速度探秘

[该讨论围绕本地机器上运行AI副驾驶相关话题展开,包括AI编码加密智能合约、本地LLM的选择、硬件配置、产品使用等多方面内容,讨论氛围较活跃且观点多元。]

 ·  · 
硬件与部署 本地部署方案

寻求建议:本地运行作为个人知识与分析“第二大脑”的AI

[寻求本地运行类似“第二大脑”AI设置建议的帖子引发了多种回应,包括推荐工具、对技术局限的分析以及相关工作进展分享,整体氛围较为积极且充满探索性]

 ·  · 
硬件与部署 本地部署方案

搭建树莓派本地运行AI的家庭服务器

[原帖作者分享在树莓派上运行本地AI的家庭服务器,评论者围绕其模型、性能、技术栈、外观等方面展开讨论,整体氛围积极且充满技术探讨氛围]

 ·  · 
硬件与部署 本地部署方案

本地运行Qwen2 - VL - 72B或Llama - 3.2 - 90B - Vision的方法

[原帖询问如何在本地运行特定模型,评论主要围绕模型量化、运行环境(如Linux)、新事物Ollama的提及及相关的等待与怀疑展开,整体氛围积极且充满技术交流探讨]

 ·  · 
硬件与部署 本地部署方案

iPhone 13成功运行本地LLama 3.2模型

Reddit 用户分享了在 iPhone 13 上运行 Local Llama 3.2 应用程序的经验,讨论了模型的性能、兼容性、优化技巧以及在不同设备上的表现。

 ·  · 
硬件与部署 本地部署方案

浏览器内全本地运行Llama 3.2:WebGPU与Transformers.js助力

Rangizingo 和 privacyparachute 等用户对在浏览器中本地运行 Llama 3.2 模型的技术表示赞赏,认为这是一个显著的进步。

 ·  ·