原贴链接

我只在工作的集群上使用大型语言模型（LLMs），家里还没有任何相关设备。Jetson用于捣鼓（例如本地语音助手）是否合理呢？https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson - orin/nano - super - developer - kit/ 有人知道能在它上面运行什么吗？基础款的Mac mini会更好吗？

讨论总结

原帖询问Jetson Orin Nano Super是否适合家庭设置（如做本地语音助手等），评论者们从不同角度进行了分析，包括设备的内存、运行速度、用途、与其他硬件的比较、性价比等方面，整体氛围比较理性，大家各抒己见。

主要观点

  1. 👎 Jetson Orin Nano Super不适合家庭设置
    • 支持理由：内存小且与操作系统共享、运行速度慢、主要用于机器人技术、设置起来费力等。
    • 反对声音：对于本地语音助手可能是足够的、作为完全自给自足方案有吸引力。
  2. 🔥 Jetson Orin Nano Super不适合运行LLM
    • 正方观点：内存小，设备主要用于机器人技术中的视觉和运动学模型。
    • 反方观点：可以加载8B的LLMs（采用合理量化Q6）。
  3. 💡 二手3090比Jetson更值得选择（如果预算允许且有合适电脑安装）
    • 支持理由：能运行一些特定模型。
    • 反对声音：没有合适电脑安装会增加成本、难以以250美元买到。

金句与有趣评论

  1. “😂 No it’s slow 8gb memory and it’s shared with the OS so may be 7 or 6 usable.”
    • 亮点：简洁地指出Jetson Orin Nano Super内存小且与系统共享导致可用内存少、运行慢的问题。
  2. “🤔 If you plan on using it at the edge to begin with, then yes, it might make sense. But if you get it to then upgrade to a desktop GPU, just get the GPU from the start.”
    • 亮点：提出在边缘使用Jetson Orin Nano Super是有意义的，但如果想升级到桌面GPU就没必要选择它。
  3. “👀 It seems odd that it just has 8gb at 250.”
    • 亮点：对Jetson Orin Nano Super的价格和内存配置提出质疑。

情感分析

总体情感倾向比较中立，主要分歧点在于Jetson Orin Nano Super是否适合家庭设置。支持的一方看到了它作为自给自足方案、适合本地语音助手等优点；反对的一方则更多关注其内存、运行速度、性价比等方面不如其他设备。

趋势与预测

  • 新兴话题：Jetson Orin Nano Super与RX 7600XT 16G的比较、英特尔新显卡对硬件选择的影响。
  • 潜在影响：影响人们对家庭设置中硬件设备的选择，特别是对于那些想要搭建本地LLM或语音助手的用户。

详细内容：

标题：Jetson Orin Nano Super 是否适合家庭设置引发Reddit热议

在Reddit上，一篇题为“Does the new Jetson Orin Nano Super make sense for a home setup?”的帖子引起了广泛关注。该帖子的作者表示在工作中使用集群的LLMs，家里尚未有相关设备，询问Jetson是否适合捣鼓，比如用作本地语音助手，并提供了相关链接：https://www.nvidia.com/en-us/autonomous-machines/embedded-systems/jetson-orin/nano-super-developer-kit/ 还询问是否有人知道它能运行什么，以及基础款Mac mini是否更好。此贴获得了众多回复和讨论，主要观点如下：

有人认为Jetson Orin Nano Super不适合，比如有人说它内存只有8GB且与操作系统共享，实际可用可能只有6或7GB，主要适用于机器人技术而非LLM。也有人觉得如果只是想捣鼓一下，还是不错的，比如一位拥有Jetson Nano开发套件的用户表示，Jetpack包含了开始使用AI所需的一切，能够成功运行TensorFlow图像分类模型。

对于其性能，观点不一。有人指出它运行功耗为25瓦，在某些边缘计算情况下有优势，8GB VRAM对于某些任务来说也足够。但也有人认为与Mac mini相比，Mac mini内存为16GB，内存带宽也更高。还有人提到在特定设置下，它能运行Llama 3.1 8B，速度约为20T/s。

有人认为如果预算有限，买一个二手的12GB RTX 3060可能是更好的选择。也有人提出是否可以将多个设备串联以提高内存增益的疑问。

关于它是否适合家庭使用，有人认为不适合，因为它主要针对机器人技术，设置起来也比较麻烦。但也有人觉得对于本地语音助手可能是足够的。

总之，关于Jetson Orin Nano Super是否适合家庭设置，Reddit上的讨论观点多样，各有依据。这一话题的争议点在于其性能、适用场景以及与其他设备的比较。到底如何选择，还需根据个人的具体需求和使用情况来决定。