硬件与部署 其他

Groq公司如何实现高速运行大语言模型?

[该讨论围绕Groq运行大型语言模型速度快的原因展开,涉及Groq的技术特点如定制芯片、SRAM的使用等,还讨论了成本效益、与其他公司的比较以及运行中的问题等多方面内容,整体氛围较为理性和技术向。]

 ·  · 
硬件与部署 性能对比

AMD Strix Halo迷你PC运行70B Q8模型视频发布

[关于运行70B Q8模型的Mini PC,大家从性能、硬件、运行速度等多方面进行讨论,整体氛围比较理性且有技术探讨性]

 ·  · 
模型与技术 性能对比

量化方法很重要:MLX Q2与GGUF Q2_K对比,MLX破坏模型性能而GGUF保持可用

[原帖对比MLX Q2和GGUF Q2_K量化方法对模型性能的影响,评论围绕量化方法、模型性能等多方面展开,有讨论、疑问、建议,整体氛围较为理性]

 ·  · 
硬件与部署 性能对比

A770与9070XT基准测试

[原帖进行A770与9070XT的基准测试,评论围绕测试的后端、不同系统下的性能、各硬件的优化建议、对测试结果的质疑等方面展开,整体氛围以技术交流为主。]

 ·  · 
模型与技术 性能对比

Llama 3.3 70B与基于Llama 3.3的Nemotron Super 49B对比

[原帖询问Llama 3.3 70B和Nemotron Super 49B更喜欢用哪个并求原因,评论中大家各抒己见,有表达对Nemotron不满的,也有认为Llama 3.3 70B更好的,整体氛围较平和理性]

 ·  · 
应用与工具 其他

在家深度研究更新,能更好收集用户输入输出报告

[帖子介绍Deep Research at Home的更新,评论者认可其更新但也提出边缘情况处理、引用缺失等疑问,还涉及OpenAI的一些情况及对Reddit吞评论的不满等内容]

 ·  · 
模型与技术 性能对比

四大前沿模型五轮对决解决问题

[围绕LLM - Tournament项目展开讨论,包括模型选择、项目改进、项目分享与演示等方面,整体氛围积极正面]

 ·  · 
模型与技术 性能对比

14B模型8位量化与27B模型4位量化性能对比

[原帖探讨14B @ 8Bit和27B @ 4Bit在特定约束下哪个模型更好,评论从模型性能、量化、任务适配等多方面给出看法、测试结果、建议等,整体氛围较为理性探讨]

 ·  · 
模型与技术 新模型发布

OpenAI发布GPT - 4.5和O1 Pro API,决策存疑

[围绕OpenAI发布GPT - 4.5和O1 Pro的API这一看起来奇怪的决定,大家从商业策略、定价、模型能力等多方面进行讨论,整体氛围疑惑与争议并存]

 ·  · 
应用与工具 其他

本地动漫角色语音合成兴趣调查

[原帖关于动漫角色语音合成(TTS)项目处于数据整理阶段,探讨其相关话题,如多语言、成本等,评论者态度多样,整体氛围较积极且话题丰富]

 ·  ·