硬件与部署 其他

AMD消费级GPU用户何处获取Flash Attention

[AMD GPU用户询问获取Flash Attention的途径,评论围绕不同工具(如llama.cpp、PyTorch、MLC - LLM)中Flash Attention的获取、性能表现、量化质量以及相关的系统要求等展开讨论,整体氛围较为专业和平和]

 ·  · 
硬件与部署 内存需求

是否存在参数少于100万的大语言模型?

[原帖寻求小于100万参数的LLM以适配640KB内存进行llama2.c到DOS的移植,评论中有人提供模型资源,有人提出技术建议,还有人对原帖需求与LLM定义的关系进行探讨,同时也涉及一些回忆和积极态度的表达等内容]

 ·  · 
硬件与部署 其他

ROG Flow Z13 (2025)将搭载128GB LPDDR5X,售价2799美元

[围绕ROG Flow Z13 (2025)电脑的价格、配置(如显存、CPU等)展开讨论,涉及家庭推理市场、数据中心等相关话题,有对设备性能和性价比的探讨,也有对营销误导的质疑,氛围比较理性且多元。]

 ·  · 
硬件与部署 其他

在Commodore C - 64上运行Llama2.c

[原帖关于在C64上进行L2E llama2.c相关操作,评论主要从技术发展、引用相关资源、对其他设备的期待以及表达惊讶等方面展开讨论,氛围较为轻松。]

 ·  · 
硬件与部署 本地部署方案

使用本地大语言模型为代码助手提供动力的体验

[帖子询问本地LLMs用于代码助手的体验,评论分享了不同模型(如Qwen等)使用体验、遇到的问题、对比情况、基准测试等内容,同时也包含少量无关提醒指令的评论,整体氛围比较理性务实]

 ·  · 
硬件与部署 硬件选择

本地模型与云巨头:我们正在见证AI的真正民主化吗?

[原帖探讨本地模型与云巨头在AI民主化进程中的对比,评论者从不同角度表达了对本地模型与云AI的看法,包括成本、隐私、性能等方面,观点有支持有反对,整体氛围理性且多元]

 ·  · 
硬件与部署 性能对比

AMD Strix Halo 128GB运行deepseek r1 70B Q8的性能

[围绕AMD Strix Halo 128GB性能展开讨论,涉及不同设备比较、价格、电池等多方面]

 ·  · 
硬件与部署 硬件选择

中国产廉价GPU在eBay售卖疑似诈骗

[围绕eBay上来自中国的低价GPU是否为骗局展开讨论,大家分享了可能的诈骗手段、背后原因、eBay的态度等,整体氛围偏向对诈骗现象的揭露和防范]

 ·  · 
硬件与部署 硬件选择

96GB显存(四块3090组合)的利用思路

[原帖询问如何利用96GB VRAM(四卡3090设置)让LLM学习代码库成为编码伙伴,评论从LLM本身特点、模型推荐、硬件配置、游戏运行、偏离主题等多方面展开讨论]

 ·  · 
硬件与部署 硬件选择

Deepseek R1 671b达到20TPS仅在内存运行的最低硬件要求

[原帖寻求Deepseek R1 671b仅在RAM运行达到20TPS的最低硬件要求,评论从硬件、成本、性能、技术等多方面进行分析讨论,氛围较为理性且充满技术探讨氛围]

 ·  ·