原贴链接

IT部门一直发邮件说我的电脑过保了，必须更换。钱不是问题，但我很纠结该怎么做。我主要需要分析大量的文本。已经花了几千美元使用OpenAI的API（gpt4o）来推送数据，按照这个速度每年很容易花费数万美元。我一直在试用Llama3.3 - 70B，它的效果和gpt4o一样好甚至更好。我兴奋起来并开始计算自己配置带四块总计80G显存GPU卡的设备，或者可能是一台有192G统一内存的Mac Pro的价格。但后来，即使在RunPod上运行4位量化版本，它也比OpenAI慢一个数量级（甚至更慢）。然后我听说了Groq，它最近增加了对3.3 - 70B的支持。Groq速度极快且相当经济。所以，我改变了自建设备的想法并决定使用Groq。然后我了解到微调技术。我使用gpt40 - mini得到了不错的结果，它未微调时效果很差，但微调后相当有吸引力（而且超级便宜）。还没试过，但也许我能从微调后的较小Llama模型得到类似结果。Groq不支持微调。当然，一切变化都很快，所以也许API价格总体上会下降，那么自己配备硬件就没多大意义了。再次强调，我正在通过API推送很多GB的数据，所以速度永远是个问题，因为我不想等数周来处理事情。这就是我的想法，有什么想法吗？抱歉这么长。非常感谢！

讨论总结

原帖作者面临工作电脑更换，在构建强大硬件（如配备多GPU卡的电脑）和使用API（如OpenAI的API）付费之间纠结，因为工作需要分析大量文本且有一定的预算。评论者从不同角度给出建议，如从成本角度考虑，有硬件备份时若API免费或低价可优先使用API；从工作需求出发，如果工作常规且文档较小可先使用API，若有特定格式答案或未优化任务需求且需要微调则倾向于构建自有机器；还有从硬件性能方面，推荐运行LLM时若要有意义可选择英伟达显卡等，讨论整体氛围理性，大家从多方面给出建设性意见。

主要观点

  1. 👍 工作类型和文档大小影响选择API还是构建自有机器
    • 支持理由：如果工作常规且文档较小（如32k个标记以下），使用API即可；若有特定格式需求或模型未优化任务，微调需求使自有机器更有优势
    • 反对声音：无
  2. 🔥 有硬件备份时，优先使用免费或低价的API以节约成本
    • 正方观点：API免费或低价时，成本低于用电成本，应优先使用
    • 反方观点：存在必须本地操作的任务时不能只依赖API
  3. 💡 若资金充足，可购置设备研究成本优化同时继续用API工作
    • 解释：购置设备可研究优化成本，同时用API不影响工作进展
  4. 💡 新模型可能需要更多硬件，难以持续升级硬件，所以使用API更好
    • 解释：需求会改变，像浏览器或办公软件一样，使用API可适应新技术发展
  5. 💡 自己构建计算机可能不值得
    • 解释：根据自身需求计算购买计算机是否值得，有人尝试本地模型后发现体验不佳或有更好的服务选择

金句与有趣评论

  1. “😂 你的绝对数据量和对微调的需求，我认为是这里的决定性因素。”
    • 亮点：直接点明影响原帖作者选择的关键因素
  2. “🤔 如果你的工作是常规的（“提取此评论中的情感”之类的内容）并且你正在处理中小规模的文本文档（比如说32k个标记以下），你可能暂时可以使用API。”
    • 亮点：给出具体工作场景下的API使用建议
  3. “👀 I have my own hardware as backup, but right now, while APIs are free or dirt cheap, I’m using them instead as sit is cheaper than my electricity costs.”
    • 亮点：从成本角度阐述选择API的理由
  4. “😎 如果想要运行自己的大型语言模型（LLM）且要有意义的话，推荐使用英伟达显卡，因为其处理能力强。”
    • 亮点：针对运行LLM给出硬件选择建议
  5. “🤓 The fact that you’re asking probably means you’re better off with the APIs.”
    • 亮点：提出一种思考角度，即提问本身可能暗示API是更好的选择

情感分析

总体情感倾向较为中立客观，主要分歧点在于到底是选择构建自有硬件还是使用API。产生分歧的可能原因是工作需求、成本预算、技术发展趋势等因素在不同人的考量中所占比重不同。例如，有人注重成本，在API低价时就倾向于API；有人注重工作需求，若有微调需求则倾向自有机器；还有人从技术发展考虑，认为新模型发展可能导致硬件难以持续升级从而支持API。

趋势与预测

  • 新兴话题：随着模型变小的趋势，未来对硬件需求的变化以及如何选择更合适的硬件或API。
  • 潜在影响：对相关企业或个人在选择工作设备和服务时提供更多参考依据，促使硬件制造商考虑如何适应新的模型需求，API供应商可能会根据用户需求调整价格和服务内容。

详细内容：

标题：工作电脑换新抉择：自建硬件还是选择 API 服务？

在 Reddit 上，有一个引发热议的帖子，标题为“have to buy replacement computer for work - build big iron vs. pay for APIs?”。该帖子获得了众多关注，评论众多。原帖主人表示，IT 部门通知其电脑已过保修期需更换，自己在是自建高性能电脑还是使用 API 服务之间犹豫不决。主要需求是分析大量文本，使用 OpenAI 的 API 花费较大，也尝试了其他模型和方案，如 Llama3.3-70B、Groq 等，还考虑了微调但 Groq 不支持，同时担心 API 价格变化和处理速度。

讨论焦点主要集中在以下几个方面： 有人认为绝对处理量和微调需求是决定因素。如果工作属于常规类型且处理文档规模较小，API 可能可行；若需特定格式答案或模型未经微调效果不佳，自有机器则更合适。有团队使用自有的服务器进行大量处理和实验，避免了外部 API 带来的摩擦。还需考虑自托管和外部 API 的成本回报周期，若处理量巨大，费用可能在一年内回本，且硬件成本可资本化，外部服务多为运营支出。

也有人指出，如果资金充足，可以先购置硬件用于研究优化成本等，同时通过 API 完成工作。使用合适软件能并行处理大量数据。Mac 在这类应用中性能可能较差。有人建议等待新的显卡，还有人提到服务器托管的问题。

有人认为应使用 API，因为新模型可能需要更强大硬件，难以持续升级。但也有人反驳，认为硬件通用，不会因模型架构变化而不兼容，需求会随时间下降。

有人分享自己使用现有硬件两个月后决定使用 API 服务的经历。

有观点指出，如果要运行自己的大语言模型，英伟达显卡因其处理能力更值得推荐，Mac 虽内存大但性能相对较弱。

还有人表示，有用的模型正变得更小，未来可能不需要强大硬件运行。

有人提出应计算成本，若自建电脑成本过高则选择 API 服务。

总的来说，对于是选择自建硬件还是 API 服务，大家各抒己见，尚无定论。但这些讨论为面临类似抉择的人提供了丰富的参考和思考方向。