原贴链接

这是一个极其简单的工具(https://github.com/Raskoll2/LLMcalc),它能给出所有量化的每秒令牌(tk/s)估计值,以及如何运行它们,例如80%的层卸载、键值(KV)卸载,全部在GPU上运行。我不知道它能否在其他人的系统上运行,我在Linux + 1个Nvidia GPU上尝试过,如果其他系统或多GPU系统上的人能反馈一些错误消息就太好了。

讨论总结

原帖作者创建了一个开源大型语言模型(LLM)的“Can you run it”工具,主要功能是提供量化的每秒处理事务数(tk/s)估计以及运行方式。评论者们从不同角度进行讨论,包括工具的改进建议、在不同系统上的运行情况、获利方式等,整体氛围积极,大家积极分享自己的观点和经验。

主要观点

  1. 👍 建议将工具托管到网站并投放广告以获利
    • 支持理由:工具很棒,作者应该从中赚钱。
    • 反对声音:无。
  2. 🔥 工具很棒但使用需简化
    • 正方观点:对于普通用户来说,不需要安装Python等操作会更好。
    • 反方观点:无。
  3. 💡 工具在Linux且1个英伟达GPU的设备上可运行
    • 解释:有人反馈在该设备环境下工具能运行。
  4. 💡 工具目前需要一个UI
    • 解释:这样能使工具更便于用户使用。
  5. 💡 该工具在Linux与AMD/rocm系统下无法运行
    • 解释:运行时会出现Python脚本类型错误等问题。

金句与有趣评论

  1. “😂 mxforest:Host this on a site and run ads. This is awesome.”
    • 亮点:直接提出工具获利的一种方式,且表达对工具的认可。
  2. “🤔 Catch_022:Pretty awesome, just need to make it much simpler to use - people like me who are asking this question would appreciate something that doesn’t require us to install python, etc.”
    • 亮点:指出工具虽好但存在使用不便的问题。
  3. “👀 Environmental - Metal9:我添加了一个分支路径在t/s计算上,因为它告诉我在我的M1 Max上我能在14B参数的llm在Q4_K_M量化下得到80t/s,而我可以保证我离这个结果差得远。”
    • 亮点:分享自己对工具在特定设备上计算结果的调整情况。

情感分析

总体情感倾向为正面,大多数评论者对该工具表示认可和支持。主要分歧点在于工具在不同系统上的运行情况,如在AMD/rocm系统下无法运行,而在Linux和英伟达GPU系统上能运行。可能的原因是不同系统的硬件和软件环境差异导致工具兼容性不同。

趋势与预测

  • 新兴话题:工具如何更好地改进以适应更多系统、添加更多功能(如并发用户数量和上下文窗口输入)。
  • 潜在影响:如果工具不断改进,可能会对开源LLM的推广和使用产生积极影响,方便更多用户确定LLM能否在自己的设备上运行。

详细内容:

标题:开源 LLMs 运行工具在 Reddit 引发热烈讨论

在 Reddit 上,一个关于创建“Can you run it”工具用于开源 LLMs 的帖子引起了众多网友的关注。原帖作者分享了工具的链接(https://github.com/Raskoll2/LLMcalc),并表示不清楚其是否能在他人系统上运行,希望拥有其他系统或多 GPU 系统的用户反馈错误信息。此帖获得了较高的关注度,引发了广泛的讨论。

讨论焦点主要集中在以下几个方面:

  1. 关于工具的盈利模式和推广方式:有人建议将其放在网站上运行广告获取收益,也有人提议获取赞助。
  2. 工具的使用体验和改进方向:部分用户表示在特定系统上运行良好,如在 Linux 搭配 1x Nvidia GPU 上能正常运行;但也有用户反馈了一些问题,比如无法读取 AMD GPU 的 VRAM 等。不少用户认为工具需要更简化使用方式,如无需安装 Python 等,最好能有一个带图形界面(GUI)的可执行文件或网站,同时添加“保存默认值”的功能等。
  3. 对工具功能的拓展需求:有人希望能考虑加入如计算并发用户数和上下文窗口等功能。

有用户分享道:“作为一名在相关领域有一定经验的人,我在 Debian 12 系统上用 2 个 Nvidia GPU 运行了这个程序,最初发现了一些问题。但经过调整后,能够正常使用。”还有用户表示:“我能够在本地的 AMD CPU 上以 40tk/s 的速度完美运行 R1。”

讨论中存在一定的共识,大家普遍认为这个工具具有一定的价值,但在易用性和功能完善方面还有提升空间。特别有见地的观点如“工具应更注重用户体验,减少技术门槛”丰富了讨论。

总的来说,这个开源 LLMs 运行工具在 Reddit 上引发了热烈的讨论,大家在肯定其价值的同时,也为其进一步的完善和发展提出了宝贵的意见和建议。