这是一个极其简单的工具(https://github.com/Raskoll2/LLMcalc),它能给出所有量化的每秒令牌(tk/s)估计值,以及如何运行它们,例如80%的层卸载、键值(KV)卸载,全部在GPU上运行。我不知道它能否在其他人的系统上运行,我在Linux + 1个Nvidia GPU上尝试过,如果其他系统或多GPU系统上的人能反馈一些错误消息就太好了。
讨论总结
原帖作者创建了一个开源大型语言模型(LLM)的“Can you run it”工具,主要功能是提供量化的每秒处理事务数(tk/s)估计以及运行方式。评论者们从不同角度进行讨论,包括工具的改进建议、在不同系统上的运行情况、获利方式等,整体氛围积极,大家积极分享自己的观点和经验。
主要观点
- 👍 建议将工具托管到网站并投放广告以获利
- 支持理由:工具很棒,作者应该从中赚钱。
- 反对声音:无。
- 🔥 工具很棒但使用需简化
- 正方观点:对于普通用户来说,不需要安装Python等操作会更好。
- 反方观点:无。
- 💡 工具在Linux且1个英伟达GPU的设备上可运行
- 解释:有人反馈在该设备环境下工具能运行。
- 💡 工具目前需要一个UI
- 解释:这样能使工具更便于用户使用。
- 💡 该工具在Linux与AMD/rocm系统下无法运行
- 解释:运行时会出现Python脚本类型错误等问题。
金句与有趣评论
- “😂 mxforest:Host this on a site and run ads. This is awesome.”
- 亮点:直接提出工具获利的一种方式,且表达对工具的认可。
- “🤔 Catch_022:Pretty awesome, just need to make it much simpler to use - people like me who are asking this question would appreciate something that doesn’t require us to install python, etc.”
- 亮点:指出工具虽好但存在使用不便的问题。
- “👀 Environmental - Metal9:我添加了一个分支路径在t/s计算上,因为它告诉我在我的M1 Max上我能在14B参数的llm在Q4_K_M量化下得到80t/s,而我可以保证我离这个结果差得远。”
- 亮点:分享自己对工具在特定设备上计算结果的调整情况。
情感分析
总体情感倾向为正面,大多数评论者对该工具表示认可和支持。主要分歧点在于工具在不同系统上的运行情况,如在AMD/rocm系统下无法运行,而在Linux和英伟达GPU系统上能运行。可能的原因是不同系统的硬件和软件环境差异导致工具兼容性不同。
趋势与预测
- 新兴话题:工具如何更好地改进以适应更多系统、添加更多功能(如并发用户数量和上下文窗口输入)。
- 潜在影响:如果工具不断改进,可能会对开源LLM的推广和使用产生积极影响,方便更多用户确定LLM能否在自己的设备上运行。
详细内容:
标题:开源 LLMs 运行工具在 Reddit 引发热烈讨论
在 Reddit 上,一个关于创建“Can you run it”工具用于开源 LLMs 的帖子引起了众多网友的关注。原帖作者分享了工具的链接(https://github.com/Raskoll2/LLMcalc),并表示不清楚其是否能在他人系统上运行,希望拥有其他系统或多 GPU 系统的用户反馈错误信息。此帖获得了较高的关注度,引发了广泛的讨论。
讨论焦点主要集中在以下几个方面:
- 关于工具的盈利模式和推广方式:有人建议将其放在网站上运行广告获取收益,也有人提议获取赞助。
- 工具的使用体验和改进方向:部分用户表示在特定系统上运行良好,如在 Linux 搭配 1x Nvidia GPU 上能正常运行;但也有用户反馈了一些问题,比如无法读取 AMD GPU 的 VRAM 等。不少用户认为工具需要更简化使用方式,如无需安装 Python 等,最好能有一个带图形界面(GUI)的可执行文件或网站,同时添加“保存默认值”的功能等。
- 对工具功能的拓展需求:有人希望能考虑加入如计算并发用户数和上下文窗口等功能。
有用户分享道:“作为一名在相关领域有一定经验的人,我在 Debian 12 系统上用 2 个 Nvidia GPU 运行了这个程序,最初发现了一些问题。但经过调整后,能够正常使用。”还有用户表示:“我能够在本地的 AMD CPU 上以 40tk/s 的速度完美运行 R1。”
讨论中存在一定的共识,大家普遍认为这个工具具有一定的价值,但在易用性和功能完善方面还有提升空间。特别有见地的观点如“工具应更注重用户体验,减少技术门槛”丰富了讨论。
总的来说,这个开源 LLMs 运行工具在 Reddit 上引发了热烈的讨论,大家在肯定其价值的同时,也为其进一步的完善和发展提出了宝贵的意见和建议。
感谢您的耐心阅读!来选个表情,或者留个评论吧!