首次测试:Qwen2.5:72b在Ollama Mac与open - webUI、M3 Ultra 512 gb上的测试
[原帖分享关于Qwen2.5在特定设备上的测试,评论围绕模型速度、功耗、硬件选择、ChatGPT使用等方面展开,氛围积极且包含各种有用的建议和幽默调侃。]
[原帖分享关于Qwen2.5在特定设备上的测试,评论围绕模型速度、功耗、硬件选择、ChatGPT使用等方面展开,氛围积极且包含各种有用的建议和幽默调侃。]
[围绕在家庭服务器上运行vLLM展开讨论,包括GPU负载、与llama.cpp对比、并行策略、技术疑问等方面,整体氛围是技术交流且较理性]
[原帖作者考虑从vllm切换回llamacpp,评论者们从不同角度如性能、吞吐量、量化、新模型支持等方面比较二者并提出自己的观点和建议,讨论氛围比较理性客观]
[NVIDIA DGX Spark规格公布后,用户围绕其内存带宽、性价比、与其他产品对比等方面展开讨论,总体氛围以失望为主]
[原帖分享DeepSeek R1 671B Q4 - M3 Ultra 512GB with MLX的测试成果,评论者们围绕模型性能、设备性能、测试结果展开多方面讨论,包括数据解读、硬件相关疑问、价格规格等,同时也有感谢、调侃等不同态度。]
[关于QwQ - 32B的设置推荐,多数人提出各种疑问,有对模型因错误配置被否定的看法,也有对推荐设置参数的质疑与讨论,整体氛围较为平和]
[原帖询问用3块主板运行R1的方案是否为5000美元左右运行R1的最佳方式,评论者从不同角度表示反对,涉及硬件、模型实用性、网络带宽等多方面内容]
[原帖作者在妻子要求低成本的情况下构建家庭实验室服务器,分享相关配件及计划,评论者围绕硬件选择、运行模型的硬件要求、对原帖作者表示祝福、对设备性能测试等方面展开讨论]
[原帖询问双7002构建避免CPU - CPU瓶颈的方法,评论者从不同角度提供技术解答、性能相关观点、构建计划,也有对EPYC构建系统的负面评价]
[原帖分享Quad GPU setup,评论者们围绕硬件设备、性能、设备构建、模型适配等方面展开讨论,整体氛围积极且充满好奇]