硬件与部署 性能测试

M3 Ultra上运行超70B参数大语言模型的尝试

[原帖询问是否有人在M3 Ultra上测试大于70B的LLMs,评论分享测试结果、性能比较、提出改进建议、表达对测试结果的看法,还涉及技术突破、不同设备使用情况、新模型测试可能以及相关推荐等内容,整体氛围较为积极的技术讨论]

 ·  · 
硬件与部署 性能测试

EXO Labs在两台512GB M3 Ultra Mac Studios上运行8位DeepSeek R1达11t/s

[围绕EXO Labs在特定设备上的运行情况展开讨论,涉及设备性价比、性能比较等多方面,有惊叹、肯定、否定等不同态度,总体氛围比较多元]

 ·  · 
模型与技术 性能测试

mistral nemo 128k 针测试

讨论围绕nemo 128k模型在处理长文档时的性能表现,通过needle test发现其性能优于RULER,但仍存在上下文丢失问题。

 ·  ·