硬件与部署 本地部署方案

Layla支持手机运行大语言模型时通过Stable Diffusion生成图像

[关于Layla这个可在手机上运行LLMs并通过Stable Diffusion生成图像的应用,评论者们从付费模式、使用体验、配置等多方面进行讨论,整体氛围较为理性且各抒己见]

 ·  · 
硬件与部署 其他

构建廉价GPU租赁工具

[有人构建了一个用于租用廉价GPU的工具,用户表示感兴趣、期待并提出了关于工具特性、定价、功能对比等多方面的疑问。]

 ·  · 
硬件与部署 硬件选择

本地运行大语言模型的笔记本电脑及配置

[大家围绕在笔记本电脑上运行本地LLM分享各自的电脑配置、性能体验,并就Macbook是否适合运行展开讨论,整体氛围比较理性和谐]

 ·  · 
硬件与部署 硬件选择

以Arc B580为核心的高性价比配置

[原帖探讨围绕Arc B580构建廉价设备,评论围绕性价比、主板选择、不同显卡性能、VRAM等展开讨论,氛围较为理性且充满技术探讨]

 ·  · 
硬件与部署 硬件选择

英伟达Jetson Orin Nano Super试用

[原帖询问是否有人尝试过jetson orin nano super,有人提供相关视频,还讨论了评测样本问题、在印度的订购时长,同时针对原帖订购想法给出多种替代选择、对设备的评价及不同设备性价比等内容]

 ·  · 
硬件与部署 硬件选择

新升级至40GB显存,求700亿参数以上模型推荐

[原帖作者分享新升级到40GB显存并寻求70B +模型推荐,评论者们在给出模型推荐的同时,也涉及到硬件相关、量化类型、性能等技术讨论,还有少量关于数据隐私和论坛选择的讨论,整体氛围积极且充满技术交流]

 ·  · 
硬件与部署 其他

消费级显卡如何被削弱?

[围绕消费级显卡是否被削弱展开讨论,涉及不同显卡在训练/推理、显存、性能等多方面表现,还探讨了市场、产品等级等相关话题,总体氛围积极理性。]

 ·  · 
硬件与部署 其他

家庭服务器终极配置:14块RTX 3090组建

[该帖子围绕14x RTX 3090构建家庭服务器展开,讨论了构建中的技术问题、成本效益、性能等,评论者有惊叹、疑惑、调侃等多种态度,也涉及到本地LLM相关话题]

 ·  · 
硬件与部署 其他

Slim - Llama:低功耗处理30亿参数的LLM ASIC处理器

[围绕Slim - Llama这个LLM ASIC处理器展开讨论,涉及技术参数、性能、功耗、应用场景等多方面,有期待认可也有质疑担忧,总体氛围热烈多元]

 ·  · 
硬件与部署 其他

Acer RTX 5090/5080游戏电脑预售价曝光

[围绕零售商提前列出RTX 5090和RTX 5080 Acer游戏电脑价格展开讨论,有认为价格过高表示反感,也有觉得合理,同时涉及英特尔显卡发展及与英伟达对比等话题]

 ·  ·