M3 Ultra上运行超70B参数大语言模型的尝试
[原帖询问是否有人在M3 Ultra上测试大于70B的LLMs,评论分享测试结果、性能比较、提出改进建议、表达对测试结果的看法,还涉及技术突破、不同设备使用情况、新模型测试可能以及相关推荐等内容,整体氛围较为积极的技术讨论]
[原帖询问是否有人在M3 Ultra上测试大于70B的LLMs,评论分享测试结果、性能比较、提出改进建议、表达对测试结果的看法,还涉及技术突破、不同设备使用情况、新模型测试可能以及相关推荐等内容,整体氛围较为积极的技术讨论]
[围绕EXO Labs在特定设备上的运行情况展开讨论,涉及设备性价比、性能比较等多方面,有惊叹、肯定、否定等不同态度,总体氛围比较多元]
讨论围绕nemo 128k模型在处理长文档时的性能表现,通过needle test发现其性能优于RULER,但仍存在上下文丢失问题。