模型与技术 性能对比

Mistral Large的推测性解码?

[该讨论围绕Mistral Large的推测解码展开,主要涉及草稿模型的使用、性能测试、速度提升、资源分配等方面,大家分享各自的经验和观点,整体氛围比较理性和平和。]

 ·  · 
模型与技术 性能对比

25个最先进大语言模型的MMLU - Pro CS基准测试对比

[帖子分享了25个LLM通过59次MMLU - Pro CS基准测试的结果,评论围绕测试展开,包括模型表现、技术原理、个人喜好等,整体氛围积极且充满探讨性]

 ·  · 
模型与技术 性能对比

12b - 22b规模下最佳NSFW角色扮演模型

[原帖询问12b - 22b、16G vram的最佳NSFW RP模型,评论者们纷纷推荐自己认为不错的模型,并对模型的性能、优缺点等进行比较,其中也夹杂着个别负面评价]

 ·  · 
模型与技术 性能对比

Llama.cpp漏洞修复!推测解码速度提升30%且上下文长度翻倍

[帖子分享了llama.cpp的bug修复后在Qwen - 2.5 - Coder - 32B - Q4_K_M测试中的性能提升,评论主要围绕性能提升相关的各种疑问、不同场景下的性能表现、模型使用及运行等话题展开,整体氛围积极且充满探索性]

 ·  · 
模型与技术 性能对比

与70B模型还是70个1B模型战斗

[在讨论是选择与70B模型还是70个1B模型战斗(1B模型能互相推理)的问题中,大家从不同角度分析,有选择倾向、战斗场景、模型特性等方面的讨论,整体氛围轻松且充满创意]

 ·  · 
模型与技术 性能对比

Qwen QwQ在辅助编码基准测试中表现平平

[关于Qwen QwQ在aider编码基准测试结果不佳的帖子引发了诸多讨论,包括模型在不同任务中的表现、存在的问题、运行环境、工作流程等方面,大家观点各异且有对后续改进方向的探讨]

 ·  · 
模型与技术 性能对比

QwQ 32b在Simple bench上的测试

[围绕QwQ 32b的测试结果展开讨论,包括对结果的不同评价、推理过程相关以及对其作为alpha模型的看法等,整体氛围较为积极且充满探索性]

 ·  · 
模型与技术 性能对比

当前最喜爱的模型

[原帖询问最喜欢的模型,评论者们分享了各自喜欢的模型,包括使用场景、性能、优缺点等,整体氛围积极,大家交流不同模型的使用体验]

 ·  · 
模型与技术 性能对比

ONNX为何在大语言模型领域未能成功

[讨论ONNX在LLM世界未成功的原因,包括技术局限、使用体验差、与其他技术对比的劣势等,总体氛围比较理性地分析问题]

 ·  · 
模型与技术 性能对比

开源才是正途

[原帖对不同人工智能进行推理问题测试并分享结果,评论围绕这些结果展开,有对开源模型的看好、对特定模型的期待、对推理问题的好奇等,整体氛围积极且充满探索性]

 ·  ·