原贴链接

训练AI对于一些人来说过于复杂，似乎是不可能完成的任务。所以我决定 $%#@ 这一切！！！我正在为每个人制作两个脚本，让大家可以轻松地在本地或云计算机上训练自己的AI。无需处理unsloth、axlotl、deepspeed或难以应对的库。只需保存一个代码文件并用Python运行即可。你只需要安装一些依赖项，一切就绪。

我个人在安装依赖项方面很糟糕，所以我安装了文本生成Web UI，然后运行以下任一文件（cmd_windows.bat、cmd_macos.sh、cmd_linux.sh、cmd_wsl.bat），然后运行“python scripy.py”，但将script.py改为脚本的名称。这样，你的大部分依赖项都已处理好。如果遇到“No module names (Blah)”错误，只需运行“pip install blah”，一切就绪。

以下是文本生成Web UI的链接，供需要的人使用：

https://github.com/oobabooga/text-generation-webui

训练文件在这里：

https://github.com/rombodawg/Easy_training

名为“Train_model_Full_Tune.py”和“Train_model_Lora_Tune.py”

讨论总结

本次讨论主要聚焦于如何简化AI训练过程，特别是通过提供一个简单的Python脚本，使得用户可以在本地或云端计算机上轻松训练自己的AI。讨论中涉及的主要话题包括依赖安装、数据集创建、多GPU支持以及对初学者的友好指导。评论者们对作者的努力表示赞赏，并提出了一些具体的建议和需求，如更详细的指南、数据适用性解释以及多GPU训练的支持。整体氛围积极，多数评论者对简化AI训练的尝试表示支持。

主要观点

  1. 👍 AI训练的困难主要在于计算资源和数据的缺乏
    • 支持理由：MoffKalast认为AI训练的困难主要源于计算资源和高质量数据的缺乏，而不仅仅是技术层面的复杂性。
    • 反对声音：Scared-Tip7914指出，这些脚本可能更多是用于微调而非完整的训练过程。
  2. 🔥 需要一个简单易懂的指南来使用这些脚本
    • 正方观点：martinerous赞赏提供的AI训练脚本，并提出了一个具体的需求：希望有一个“傻瓜式”的指南，用于指导如何使用这些脚本来训练一个小型的开源大型语言模型（LLM），并将其加载到Koboldcpp中。
    • 反方观点：暂无明确反对意见。
  3. 💡 数据集的创建是训练AI模型中最困难的部分
    • 解释：spidey000指出，尽管作者提供了简化的训练脚本，但创建数据集仍然是训练AI模型中最具挑战性的部分。

金句与有趣评论

  1. “😂 MoffKalast：I would argue that it’s seemingly impossible because of two things, lack of compute/funding and lack of meaningful well formatted data to train on.”
    • 亮点：指出了AI训练的主要障碍。
  2. “🤔 martinerous：Now the only thing I miss is a simple "fool-proof" guide for a typical use case.”
    • 亮点：强调了对简单易懂指南的需求。
  3. “👀 bullerwins：Does this support multi-gpu for bigger models?”
    • 亮点：关注了多GPU训练的可行性。

情感分析

讨论的总体情感倾向积极，多数评论者对简化AI训练的尝试表示赞赏和支持。主要分歧点在于对脚本实际应用的理解和需求，如多GPU支持、数据集创建的困难等。这些分歧主要源于对AI训练复杂性的不同认识和需求。

趋势与预测

  • 新兴话题：简化AI训练的工具和指南可能会引发更多关于如何使AI训练更易于初学者的讨论。
  • 潜在影响：这些简化工具和指南的普及可能会降低AI技术的入门门槛，促进更多人参与AI研究和应用。

详细内容：

标题：《轻松训练 AI：1 个文件搞定》

在 Reddit 上，有一篇关于轻松训练 AI 的热门帖子引起了广泛关注。该帖称，训练 AI 对一些人来说过于复杂且看似不可能完成，于是作者决定推出两个脚本，让任何人都能在本地或云计算机上轻松训练自己的 AI，只需 1 个代码文件并用 Python 运行，安装一些依赖项即可。此帖获得了众多点赞和大量评论。

帖子中提供了相关的链接，如文本生成的 Web UI 链接：https://github.com/oobabooga/text-generation-webui ，以及训练文件的链接：https://github.com/rombodawg/Easy_training 。

讨论的焦点主要集中在以下几个方面： 有人认为训练 AI 看似不可能是因为缺乏计算资源/资金以及缺乏有意义、格式良好的数据。还有人指出这些更像是微调脚本而非实际的训练脚本。也有人表示现在缺少一个针对典型用例的“万无一失”的指南，比如如何用私人电子书集合训练一个小型开源 LLM 并加载到 Koboldcpp 中。另外，关于如何制作数据也引发了讨论，有人分享了相关代码部分并进行解释，强调需要根据模型和数据集格式进行修改。有人提到数据集创建过程是相当困难且关键的。还有人询问是否支持多 GPU 用于更大的模型。

有用户称赞这一成果，认为至少让人一眼就能对训练过程有个大概的了解，也有人给出了一些实用的建议，如使用特定的项目管理工具。

总的来说，这一话题引发了大家对于轻松训练 AI 的深入思考和讨论，展示了人们在这一领域的关注和探索。