原贴链接

你好，

我有一台基础款的Apple Silicon Macbook m1，一直在玩几个小于3GB的小模型（tinyLlama；Phi-3 mini，Dolphin 2.6），因为我有一个非常慢的互联网连接，通常必须通宵下载模型。

下周末我将去拜访我的父母，幸运的是他们有光纤连接，我计划下载一些大小适中的8B模型，以便回来后可以玩玩。我已经花了几天时间研究一些新模型，并下载了GGUF的README.md文件以跟踪。

有人能帮我缩小范围或提供一些关于哪些模型最适合通用目的的见解吗？

以下是我抓取的一些README文件（我刚刚意识到这个列表有多大-抱歉！！）：

1.	DeepSeek-Coder-V2-Lite-Instruct_.md
2.	dolphin-2.9-llama3-8b-Q5_K_M.md
3.	dolphin-2.9.1-mixtral-1x22b-Q5_K_M_.md
4.	dolphin-2.9.3-mistral-7B-32k_.md
5.	Fimbulvetr-11B-v2-Test-14.q5_K_M_.md
6.	gemma-2-9b-it_.md
7.	Gemma-2-9B-It-SPPO-Iter3.md
8.	Hermes-2-Pro-Llama-3-8B_.md
9.	Hermes-2-Theta-Llama-3-8B_.md
10.	Hermes-2-Theta-Llama-3-8B-Q5_K_M_.md
11.	L3-8B-dolphin-2.9.1-WritingPrompts.i1-Q4_K_M_.md
12.	L3-Aethora-15B-V2_.md
13.	L3-Aethora-15B-V2-Q4_K_S_.md
14.	laser-dolphin-mixtral-2x7b-dpo_.md
15.	Lexi-Llama-3-8B-Uncensored-Q5_K_M_bartowski_.md
16.	Lexi-Llama-3-8B-Uncensored.md
17.	Llama-3.1-8B-Instruct-abliterated_via_adapter_.md
18.	Meta-Llama-3-8B-Instruct-abliterated-v3.md
19.	Meta-Llama-3.1-8B-Instruct_.md
20.	Mistral-7B-Instruct-v0.3-Q5_K_M_.md
21.	Mistral-7B-OpenOrca-Q5_K_M_.md
22.	Mistral-Nemo-Instruct-2407_.md
23.	NeuralDaredevil-8B-abliterated-Q5_K_M.md
24.	Phi-3.1-mini-4k-instruct_.md
25.	qwen2-7B-Instruct-128k_.md
26.	stabilityai-stablelm-3b-4e1t__mini.md
27.	stablelm-2-12b-chat-Q5_K_M_.md
28.	tulu2-7b_writing-prompts_.md
29.	WizardLM-2-7B-abliterated-Q5_K_M_.md
30.	Writing_Partner_Mistral_7B_.md

讨论总结

Reddit用户在寻找适合其Apple Silicon Macbook m1的模型，由于网络速度慢，通常需要夜间下载。用户计划在有高速网络的父母家下载一些较大的模型，并寻求其他用户的建议和见解。讨论涉及多个模型的比较，包括Mistral Nemo、Mistral Mixtral、Llama 3.1 8B和Gemma 2 9B等。用户主要关注模型的性能、适用场景和硬件限制，特别是对于编程任务的需求。讨论中还涉及了模型的未审查版本和长上下文处理能力。

主要观点

  1. 👍 Llama 3.1 8B 和 Gemma 2 9B 适合一般用途
    • 支持理由：这些基础模型在性能上通常优于大多数 Mistral 的微调版本，除了角色扮演类。
    • 反对声音：某些用户认为特定版本如 Nous Hermes Theta 和 SSPO Iter 3 也值得考虑。
  2. 🔥 Mistral Nemo 模型智能且重复率低
    • 正方观点：Mistral Nemo 适合12B及以下需求，特别是故事写作和聊天助手。
    • 反方观点：仍有错误，需要进一步优化。
  3. 💡 Gemma和Llama 3.1适合长上下文处理
    • Gemma SPPO适用于一般智能任务。
    • DeepSeek Lite和22B模型可能会超出8GB RAM的限制。

金句与有趣评论

  1. “😂 Vitesh4：I’d recommend Llama 3.1 8B or Gemma 2 9B for general use.”
    • 亮点：直接推荐了适合一般用途的模型。
  2. “🤔 Linkpharm2：Mistral Nemo. Just started using it. Smart enough, very little repeating.”
    • 亮点：强调了Mistral Nemo的智能和低重复率。
  3. “👀 whotookthecandyjar：Gemma and Llama 3.1 are decent for long context, Gemma SPPO is useful for general intelligence.”
    • 亮点：指出了Gemma和Llama 3.1在长上下文处理方面的优势。

情感分析

讨论的总体情感倾向是积极的，用户们积极分享自己的经验和推荐。主要分歧点在于不同模型的性能和适用场景，以及硬件限制对模型选择的影响。可能的原因是用户们对模型的需求和使用场景各不相同。

趋势与预测

  • 新兴话题：用户对编程任务的模型需求可能会引发更多关于编程模型的讨论。
  • 潜在影响：随着技术的进步，用户可能会更加关注模型的性能和适用场景，以及硬件限制对模型选择的影响。