模型与技术 模型发布与更新

为什么没有70B版本的bitnet 1.58b模型?

Reddit用户讨论了为什么没有70B版本的Bitnet 1.58b模型,主要围绕训练成本、硬件需求、技术进步和模型优势展开。

 ·  · 
模型与技术 模型发布与更新

Llama-3.1 8B 4-bit HQQ/校准量化模型:相对性能达到FP16的99.3%,推理速度极快

Reddit用户围绕Llama-3.1 8B 4-bit HQQ/calibrated量化模型的性能、推理速度和应用场景展开了广泛讨论,涉及多语言支持、长上下文处理和硬件限制等多个方面。

 ·  ·