原贴链接

虽然我是新手，但我的工作有10000美元预算，如果可能的话，用于运行本地AI实例以进行测试和微调。主要目的是做概念验证，看看我们能在多大程度上利用本地AI实例来自动化和改进现有流程和系统。目前只考虑1台服务器。我们已经配置了一个本地Llama实例，用于从非常多样化的转录中提取信息，这是现有方法无法做到的，但我们希望能够对其进行训练以提高准确性。管理层热衷于利用它来总结呼叫中心的通话以及许多其他潜在的测试用例。任何有用的建议，或者我应该问些什么问题呢？

讨论总结

原帖作者有10000美元预算构建用于测试和微调本地AI实例的服务器，寻求建议。评论者们从不同角度给出建议，主要围绕硬件配置展开，如是否能购买特定的GPU、主板、内存等，也涉及到预算限制下的多种选择，像租用GPU、考虑二手硬件等。此外，数据隐私（特别是医疗数据相关）、不同方案的性价比、是否符合法规等也是讨论内容，整体氛围是积极提供建议的。

主要观点

  1. 👍 在10k预算下可配置两块RTX A6000和NVlink用于本地微调。
    • 支持理由：可能是该价格点下本地微调的最佳配置。
    • 反对声音：10k预算购买两块A6000后可能无法负担其他电脑组件。
  2. 🔥 推荐先租用GPU开始。
    • 正方观点：成本低，可先尝试，如H100大约50美元一天。
    • 反方观点：不知道在当地从哪里获取租用资源。
  3. 💡 10000美元预算购置硬件比较尴尬。
    • 解释：不够购置新的服务器级硬件，但用于组建业余爱好者装备则有余。
  4. 💡 推荐使用云提供商。
    • 解释：在训练和推理方面有优势，操作更简单。
  5. 💡 先考虑预训练的专注于医疗的LLMs。
    • 解释：微调会带来很多问题，应先确定现有工具不能满足需求再进行微调。

金句与有趣评论

  1. “😂 With that budget I could be able to find two RTX A6000 and an NVlink. Probably the best setup for local fine - tuning at that price point.”
    • 亮点：给出了一种在预算范围内可能的硬件配置方案。
  2. “🤔 I would recommend just renting a gpu to start off with. H100 around 50 dollars a day”
    • 亮点：提出了租用GPU这种不同的思路和具体的租用价格。
  3. “👀 Imo 10k is a bit a weird spot, not enough to get new server grade hardware, well enough to build a hobbyist rig with more 3090 than you can fit in a AMD epyc system.”
    • 亮点：指出了10000美元预算在购置硬件时的尴尬处境。

情感分析

总体情感倾向是积极的，大家都在为原帖作者出谋划策。主要分歧点在于不同硬件配置方案的可行性和性价比，例如在10000美元预算下能否配置两块RTX A6000和NVlink，以及租用GPU是否可行。原因是不同的人有不同的经验和对硬件、成本的考量。

趋势与预测

  • 新兴话题：像tinybox这样的新方案如果增加预算是否真的能更好解决问题。
  • 潜在影响：对那些预算有限且想构建本地AI实例的人有参考价值，在AI测试、硬件配置、数据隐私等相关领域可能会影响人们的决策。

详细内容：

标题：1 万美元预算用于 AI 机器/服务器，引发激烈讨论

在 Reddit 上，一则关于 1 万美元预算用于购置 AI 机器/服务器并寻求建议的帖子引发了众多网友的关注和热烈讨论。该帖子获得了大量的点赞和评论。

原帖中，发帖者表示尽管自己是新手，但工作给了 1 万美元的预算，用于运行本地 AI 实例以进行测试和微调。目的是进行概念验证，看看能在多大程度上利用本地 AI 实例来自动化和改进现有流程和系统。他们已经配置了本地 llama 实例，但想要更精确的结果，管理部门也希望能用于总结呼叫中心电话等潜在测试用例。

讨论焦点主要集中在如何在有限预算内配置最佳硬件，以及选择本地服务器还是云服务等方面。

有人认为，1 万美元的预算可以购买两个 RTX A6000 和一个 NVlink，这可能是该价格点下用于本地微调的最佳设置。但也有人提出，新的 A6000 大约 5000 美元，算上折扣可能 4000 美元，而预算只有 1 万美元，还需要考虑电脑的其他组件，比如主板、CPU、内存等。还有人指出，在这个预算下，可以选择消费级主板，用 1 万美元获得新的工作站和单个 A6000，并为扩展预留空间。

关于是否使用消费者级组件，有人表示其优点在于更便宜、容易更换，有免费社区支持等。同时，有人推荐可以先租用 GPU 试试，比如 H100 每天约 50 美元。

对于医疗数据的处理，有人提到如果涉及未匿名化的真实患者数据，在美国可能存在法律风险，需要专业的法律意见。

在硬件比较方面，有人认为 H100 比 A6000 性能强很多，特别是在自动语音识别方面。但也有人讨论了 RTX 显卡在商业用途中的许可问题。

总的来说，这次讨论涵盖了多个方面的观点和建议，为发帖者提供了丰富的参考。但最终如何选择，还需要发帖者根据自身实际情况和需求来决定。