原贴链接

大家好，

我曾是一名AMD工程师，多年来一直致力于GPU驱动程序的开发，特别是专注于机器学习/推理工作负载。当生成式AI热潮兴起时，我离开了AMD，创立了自己的初创公司，经过大约两年的紧张建设，我们实现了一次小规模的收购。

现在，我处于一个不再厌倦建设，但已准备好摆脱投资者、增长指标和初创公司持续压力的阶段。我想回到我最热爱的事情上：构建有用、有影响力的技术。这一次，我想在开源领域进行，专注于纯粹创造有价值的东西，而不受商业成功的干扰。

我特别热衷的一个领域是在边缘设备上运行大型语言模型，如树莓派。将AI的力量带到小型、易获取的硬件上的想法让我兴奋不已，我很愿意进一步探索这一领域。

因此，我向这个了不起的社区伸出援手——你们面临的一些问题是什么，希望有什么解决方案？你们在工作流程、项目或工具中的痛点是什么？我渴望投身于新事物，并乐于为解决现实世界问题做出贡献，尤其是在推动小型设备能力边界方面。

期待听到你们的想法！

讨论总结

本次讨论主要围绕前AMD工程师和创业公司创始人转向开源项目的想法展开，重点关注在边缘设备上运行大型语言模型（LLMs）的技术挑战和需求。讨论中涉及多个关键话题，包括AMD设备运行CUDA的需求、开源工具的开发、AI技术在小型设备上的应用潜力等。参与者提出了多种技术问题和解决方案，如改进CUDA在AMD硬件上的兼容性、开发适用于边缘设备的AI模型、以及创建新的开源平台以挑战现有垄断等。整体上，讨论反映了社区对技术创新和开源合作的强烈兴趣和支持。

主要观点

  1. 👍 AMD设备需要能够运行CUDA的解决方案

    • 支持理由：CUDA在快速推理方面几乎是唯一选择，形成了垄断。
    • 反对声音：ZLUDA项目被AMD终止，SCALE项目是闭源的。

  2. 🔥 需要一个能够处理多种通信方式的技术支持系统

    • 正方观点：该系统应能减轻技术支持工作量的25%。
    • 反方观点：现有的解决方案如Twilio存在，但用户并不满意。

  3. 💡 快速、本地的混合RAG对边缘设备上的LLM至关重要

    • 解释：提到了一个具体的相关开源项目，该项目可能与作者的兴趣和目标相符。

  4. 👀 tinygrad项目是一个新的PyTorch竞争对手，旨在简化ML张量库

    • 解释：该项目通过减少依赖和代码行数，采用通用方法优化性能。

  5. 🚀 需要一个专注于特定编程语言的编程语言模型（LLM）

    • 解释：当前的通用模型在实际应用中并不实用，暗示了对更专业工具的渴望。

金句与有趣评论

  1. “😂 We desperately need something like ZLUDA (recently strike down by AMD) or SCALE (closed source) to make AMD devices run CUDA.”

    • 亮点：强调了AMD设备用户对CUDA兼容性的迫切需求。

  2. “🤔 Tech support + Call routing. If i can have a solution that helps with recieving texts, calls, emails, and online chat requests and provides tech support that can solve even 25% of the work load, that would be a big great start.”

    • 亮点：提出了一个创新的技术支持系统，旨在提高工作效率。

  3. “👀 i think fast, local hybrid RAG is an important part of LLM on the edge.”

    • 亮点：指出了边缘设备上LLM的关键技术需求。

情感分析

讨论的总体情感倾向是积极的，参与者表现出对技术创新和开源合作的热情。主要分歧点在于对现有技术解决方案的不满和对新开源工具的需求。可能的原因包括现有工具的局限性、对更高效解决方案的渴望，以及对打破技术垄断的期待。

趋势与预测

  • 新兴话题：开发适用于边缘设备的AI模型和工具，以及创建新的开源平台以挑战现有垄断。
  • 潜在影响：这些创新可能推动AI技术在小型设备上的应用，促进技术普及，并可能打破现有技术垄断。

详细内容：

标题：前 AMD 工程师寻求开源项目方向，Reddit 社区热议各类需求

在 Reddit 上，一位前 AMD 工程师、初创公司创始人发帖表示，在经历了创业并取得一定成果后，希望投身开源项目，尤其是在边缘设备如树莓派上运行大语言模型（LLM）相关的领域，并向社区征集想法。此帖引发了广泛关注，获得了众多点赞和大量评论。

讨论的焦点与观点众多。有人认为需要类似 ZLUDA 或 SCALE 的工具，以使 AMD 设备能运行 CUDA，也有人指出当前 CUDA 在快速推理方面的垄断地位。在技术支持和呼叫路由方面，有人希望有能解决部分工作负载的开源解决方案。对于在树莓派等小型设备上运行 LLM，有人提到硬件加速的问题，也有人探讨了相关的模型和硬件适配。还有人建议参与 tinygrad 项目，或者为开源平台做贡献以挑战 GitHub 的垄断。

有用户表示，希望能有针对个人和风险管理专业人员的本地 SLM，用于高效管理投资组合。也有人提到优化 Vulkan 后端的黑魔法会很有帮助，以及让 CUDA 框架在 AMD 硬件上易用且有效运行将是极大的贡献。关于边缘设备的运行，有人建议开发开源工具以在消费硬件上运行良好的 LLM，或者在低端消费硬件上运行优质的 LLM。

同时，还有人提出各种具体的想法，如改善 llama.cpp、为特定硬件优化矩阵乘法、实现本地 llm openai 函数调用模块、构建提取提示模板和聊天历史模板的工具等。

总之，Reddit 上的讨论丰富多样，反映了大家对开源项目和技术创新的热切期待和多样需求。这位前工程师在众多建议中，究竟会如何抉择，让我们拭目以待。