原贴链接

我是个新手。在2022年底，我尝试在树莓派上运行llama.cpp，但速度非常慢。

正如标题所问，有没有什么模型推荐我可以微调并在树莓派上运行。如果能处理编程相关任务，那就更好了。

讨论总结

本次讨论主要集中在如何在Raspberry Pi 4 4GB上运行和微调适合编程任务的模型。作者在2022年末尝试过在Raspberry Pi上运行llama.cpp，但发现速度非常慢。现在寻求新的模型推荐，特别是那些能够执行编程任务的模型。评论者推荐了Qwen和Phi3两个模型，并讨论了它们的优缺点，包括是否适合在Raspberry Pi上运行以及如何进行微调。讨论中还涉及了模型的性能优化和技术细节。

主要观点

  1. 👍 在Raspberry Pi上运行llama.cpp速度非常慢
    • 支持理由：作者在2022年末的实际体验证明了这一点。
    • 反对声音：无。
  2. 🔥 推荐使用Qwen和Phi3模型
    • 正方观点：Qwen和Phi3可能在Raspberry Pi上运行更快，适合微调和执行编程任务。
    • 反方观点：无。
  3. 💡 微调Phi3需要配备特定GPU的计算机
    • 解释：Phi3-mini的参数较少，因此更容易进行微调，但需要Nvidia、Amd或Intel GPU的计算机。

金句与有趣评论

  1. “😂 You said you tried llama.cpp in late 2022 while it was released in March of the following year. Please share your time machine with us ;)”
    • 亮点：幽默地指出了作者时间上的错误，增加了讨论的趣味性。
  2. “🤔 No dumb question at all ;) Phi-3-mini only has 3.8 B parameters so it’s easier to fine tune. (Less vram needed)”
    • 亮点：鼓励性的回答，解释了Phi3-mini的微调优势。

情感分析

讨论的总体情感倾向积极，主要分歧点在于模型的选择和性能优化。评论者对新技术表现出浓厚的兴趣和兴奋，讨论氛围友好且技术导向。

趋势与预测

  • 新兴话题：可能会有更多关于如何在低功耗设备上运行和微调模型的讨论。
  • 潜在影响：对嵌入式系统和边缘计算领域可能产生积极影响，推动更多适合小型设备的模型开发。