模型与技术 性能对比

专家链:解锁混合专家模型通信能力

[帖子介绍了Chain - of - Experts (CoE)相关技术成果,评论从幽默调侃、对开源公司关注与否的疑问、从自身使用场景出发的观望与认可等多方面展开讨论]

 ·  · 
模型与技术 技术讨论

HF平台可免下载转换模型为MLX

[原帖分享HF空间可转换模型且无需下载,评论围绕MLX模型转换展开,涉及非苹果硬件运行、量化与否、模型性能与问题等方面,整体氛围积极且富有探索性]

 ·  · 
硬件与部署 其他

AMD ROCm用户论坛相关链接

[在AMD Rocm用户论坛上,大家主要围绕ROCm和Vulkan展开讨论,涉及不同显卡、软件下二者性能差异,总体氛围是理性探讨]

 ·  · 
应用与工具 其他

开发含构件、CLI、代理操作与GitHub连接的开源UI编码工具

[原帖发布正在开发的开源UI编码工具,引发关于工具工作方式、与其他工具比较、权限、应否分享GitHub链接等方面的低热度讨论,有认可也有质疑。]

 ·  · 
模型与技术 模型更新

Meta AI何时迎来Llama升级

[原帖询问Meta AI的Llama版本何时升级,评论围绕Llama版本目前的停滞状态、可能的升级时间、Meta AI与其他竞品的关系、股东利益以及是否应免费升级等展开,整体氛围充满对Llama升级的期待与猜测。]

 ·  · 
硬件与部署 硬件选择

300美元左右、低闲置功耗的16Gb GPU是否存在?

[原帖询问300美元左右低闲置功耗的16Gb GPU是否存在,评论给出多种GPU选择及相关看法,包括性能、功耗、价格、显存等方面,有讨论也有争议]

 ·  · 
模型与技术 技术讨论

Phi-4-多模态的未来

[原帖寻求适用于特定硬件的多语言模型,关注Phi - 4 - multimodal的llama.cpp支持情况及其对模型各方面影响,评论给出多种解决方案、对llama.cpp的看法、其他模型支持情况等,整体讨论热度不均]

 ·  · 
模型与技术 技术讨论

LLM温度计项目探索

[原帖介绍一个名为“LLM Thermometer”的项目,评论者们围绕项目提出各种建议如不同的温度推断方法、新的测试提示、工具推荐等,整体氛围积极]

 ·  · 
硬件与部署 本地部署方案

在Linux集成GPU(如Radeon 780M)上运行硬件加速的Ollama

[原帖分享在集成GPU上运行硬件加速Ollama的指南,评论者围绕Ollama的性能、与其他软件对比、个人使用经验以及安装相关问题展开讨论,整体氛围积极且富有建设性。]

 ·  · 
应用与工具 其他

开源桌面应用Klee,本地运行LLM且无数据收集

[关于开源桌面应用Klee的讨论,涉及功能、界面、数据收集等方面,有正面评价也有质疑,整体氛围积极且充满探索性]

 ·  ·