原贴链接

我正在申请一个5万美元的创新项目资助来构建本地大语言模型（LLM）设置，希望得到硬件和软件方面的推荐。我们打算用它做以下事情：1. 用特定领域知识对大语言模型（LLM）进行微调，以用于大学生。2. 将其作为学生理解大语言模型系统并进行实验的学习工具。3. 为教师和学生提供一个编码助手。在预算范围内如何获取最大价值，你们有什么推荐吗？提前感谢！

讨论总结

原帖主申请50,000美元创新项目拨款来构建本地大型语言模型（LLM）设置，希望大家推荐硬件和软件。评论者们纷纷给出硬件推荐，如SuperMicro服务器、DGX盒子、Tinybox等，同时也涉及到一些如是否采用云服务、本地设备的数据隐私等问题的讨论，整体氛围比较积极，大家都在尽力为项目提供可行的建议。

主要观点

  1. 👍 可考虑企业剩余设备
    • 支持理由：可以节省成本，是在预算范围内获取硬件的一种方式。
    • 反对声音：无。
  2. 🔥 建议选择云供应商更划算
    • 正方观点：可获取更多云信用额，性价比高。
    • 反方观点：本地设备能带来更多灵活性，云系统可能存在数据隐私问题。
  3. 💡 构建本地LLM设置可考虑购买2台服务器
    • 支持理由：单台机器用于训练模型或生成数据集时可能长时间被占用，两台机器有助于提供训练和调用等操作的灵活性。
    • 反对声音：无。
  4. 💡 不建议采用定制硬件
    • 支持理由：应选择预构建且有良好支持的设备，可联系多个经销商询问报价并让他们竞争以获取更优价格。
    • 反对声音：无。
  5. 💡 推荐TensTorrent硬件，性价比高
    • 支持理由：开发服务器针对70B模型，其并发请求满足需求时价格远低于NVIDIA。
    • 反对声音：无。

金句与有趣评论

  1. “😂 Educational_Rent1059：- Hey I want to buy a car - Serious suggestion, Why would you want to buy a car, just take a cab Like, ok?”
    • 亮点：以买汽车和打车的类比来调侃选择本地设备而非云服务的建议。
  2. “🤔 CartographerExtra395：Serious suggestion - I don’t know why a funding source would want you to build a local thing. Get a large cloud provider to match the $50k, get $100k in cloud credit.”
    • 亮点：直接对原帖主构建本地设备提出疑问，并给出云服务的建议。
  3. “👀 bluelobsterai：I plan to sleep out with my friends at the local MicroCenter.”
    • 亮点：生动地描述了为购买5090而在MicroCenter外过夜等待的情景。
  4. “😂 Strange - History7511：Normies aren’t gonna be able to get those for 6 months at least”
    • 亮点：指出普通人获取5090存在时间限制，表达对购买5090这一建议的现实考量。
  5. “🤔 jaungoiko_：Well, sometimes things aren’t as straightforward, and having the hardware gives us more flexibility and opens up possibilities with other projects.”
    • 亮点：很好地解释了本地设备的优势。

情感分析

总体情感倾向是积极的，大家都在积极为原帖主出谋划策。主要分歧点在于构建本地LLM设置还是选择云服务，可能的原因是对于成本、灵活性、数据隐私以及项目后续发展的不同考量。

趋势与预测

  • 新兴话题：欧盟超级计算机资源的利用可能会引发后续讨论，因为其在2025年有新的项目开放且适合LLM项目。
  • 潜在影响：如果更多人关注到TensTorrent硬件的性价比，可能会对相关硬件市场产生影响，促使更多人考虑性价比高的硬件来构建LLM。

详细内容：

《5 万美元打造本地 LLM 设备，硬件推荐引发激烈讨论》

在 Reddit 上，一则关于申请 5 万美元创新项目grant 来构建本地 LLM 设备，并寻求硬件和软件推荐的帖子引发了众多关注。该帖子获得了大量的点赞和评论，主要讨论方向集中在如何在预算内实现设备的最优配置，以满足为大学生精细调整 LLM 模型、作为学习工具以及为师生提供编码助手等需求。

讨论焦点与观点分析：

  • 有人建议考虑 n 减 2 或 -3 代的企业剩余硬件，认为其成本效益可能值得研究。
  • 有人分享在 ebay 上能买到特定规格的服务器，新蛋上也能买到价格优惠的产品。但也有人指出不要使用 A6000s，认为 L40s 更好。
  • 有人提出可以联系超级微的经销商获取报价，也可以让戴尔和惠普的经销商互相竞争报价。
  • 还有人提到可以利用欧洲的超级计算机资源，不过有一定的申请条件限制。

特别有见地的观点如：对于几乎相同的预算，可以购买特定配置的 SuperMicro 服务器，足以运行大多数模型。

争议点在于是否应该购买硬件构建本地设备，还是利用云服务。有人认为云服务能匹配预算并提供更多信用额度，特别是对于学术研究，云服务提供商可能会轻易同意。但也有人解释称拥有硬件能带来更多灵活性和可能性。

共识在于大家都在积极为如何在预算内实现最优配置出谋划策。

总之，这场关于 5 万美元构建本地 LLM 设备的讨论十分热烈，各种观点和建议为有类似需求的人提供了丰富的参考。