原贴链接

我不太了解大型语言模型（LLM）的生态系统，它们在扩散模型上的效果是不是不太好呢？

讨论总结

这个讨论围绕着大型语言模型（LLM）为什么没有像扩散模型那样的Loras展开。参与者从不同角度进行分析，包括LLM的特性、训练内容、量化模型、社区和硬件等方面的影响，整体氛围较为理性且充满技术探讨。

主要观点

👍 图像生成LoRA能用图像解释作用，语言模型难以做到
- 支持理由：图像直观，而语言模型训练内容解释起来不简单直接。
- 反对声音：无
🔥 在量化的LLM上添加Lora会损失准确性，这是LLM中Lora不常见的原因之一
- 正方观点：多数人使用量化LLM，添加Lora会失准。
- 反方观点：有观点认为在量化模型上运行Lora比将Lora整合进量化模型准确性更高。
💡 LLMs有工具来扩展功能和知识，这可能导致Lora在LLMs中不常见
- 无特殊正反方观点解释，只是一种对现象的可能解释。
👍 社区规模、硬件要求、领域变化和模型规模影响LLM拥有类似Loras的情况
- 支持理由：这些因素综合起来可能限制LLM拥有类似Loras的情况。
- 反对声音：无
💡 LLM对提示接受度高，扩散模型通过提示难操控所以用Loras
- 无特殊正反方观点解释，是对两种模型差异的一种理解。

金句与有趣评论

“😂 It’s a lot easier to explain exactly what an image generation LoRA does with a few images. For a language model, explaining exactly what was trained is a much less easy and straightforward exercise.”
- 亮点：形象对比了图像生成和语言模型在解释LoRA作用上的难易程度。
“🤔 I think it comes down to this: Most people use quantized LLMs. Adding a lora on top of a quantized model loses accuracy.”
- 亮点：指出量化LLM加Lora会失准这一关键因素。
“👀 The LLM version of a Lora is a vector database.”
- 亮点：将LLM版本的Lora与向量数据库联系起来，是一个独特的观点。
“😂 My guess is that part of it is that LoRAs for LLMs mostly affect style and useful LLMs are already capable at the kinds of styles most people want.”
- 亮点：从风格影响的角度解释LLMs中Loras的情况。
“🤔 LORAs are a best answer scenario, it doesn’t have to provide the exact picture, you wouldn’t mind if the 20 generations you got were slightly off.”
- 亮点：对LORAs在图像和文本场景下的不同要求进行阐述。

情感分析

总体情感倾向是较为理性和客观的，主要分歧点在于Lora在LLM中不常见的具体原因，例如是因为准确性问题、LLM自身功能扩展、还是其他如社区和硬件因素等。可能的原因是大家从不同的技术层面和实际应用场景出发进行思考。

趋势与预测

新兴话题：关于特定知识的LLMs以及LLMs与向量数据库关系可能会引发后续讨论。
潜在影响：如果对LLMs中Loras的应用有新的突破或理解，可能会影响LLM在不同领域的应用效率和效果，如医疗、法律等领域对模型准确性和功能扩展的需求满足方面。

详细内容：

《关于为何 LLM 领域不像扩散模型那样普及 Loras 的热门讨论》

在 Reddit 上，有一个题为“为何我们在 LLM 领域不像 Civitai 在扩散模型中那样拥有 Loras ？”的帖子引起了广泛关注，获得了众多点赞和大量评论。该帖主要探讨了 LLM 领域中 Loras 的应用情况，以及为何其不如在扩散模型中那样常见。

讨论的焦点主要集中在以下几个方面：有人指出，图像生成的 LoRA 用几张图片就能很容易解释其作用，而语言模型要确切解释训练的内容则困难得多，正所谓“一张图片胜过千言万语”。也有人提出为何不为 LLM 训练同时提供图像和文本。还有观点认为，不能通过图像来解释语言模型的特性，就像试图用一张照片来概括一个概念性存在擅长的编码语言和项目类型一样不现实。

关于 Loras 在 LLM 领域的应用，有多种见解和观点。有人认为，大多数人使用量化的 LLM，在量化模型上添加 LoRA 会损失精度，所以虽然有针对 LLM 的 Loras，但通常先应用然后一起量化，这使得其不如扩散模型灵活，因此不太常见。也有人表示，随着 SD 模型变得更大更难运行，很多人使用像 GGUF 这样的量化模型，怀疑 SD 对 Loras 的处理方式是否会改变。还有人提到，Flux 中 Loras 不如微调的量化模型受欢迎，因为量化模型能适配 12GB VRAM，而完整模型和一两个 LoRA 则需要 24GB。但也有人指出，LoRAs 在 Flux.1 开发中很受欢迎，而且据了解，LoRA 的数量在推理期间实际上并不太影响驻留 VRAM。有人认为 LoRA 工作效果不如完全训练的模型，而另有人认为 LoRA 的重点在于快速且低成本的微调。

此外，有人认为 Loras 是 LLM 工作的核心部分，可以通过定制路由充分发挥其作用。也有人提到 LLM 可以使用工具来扩展其功能和知识，这可能是 LoRA 不太常见的原因。

讨论中的共识在于大家都在思考 Loras 在 LLM 领域的应用现状和局限性。一些独特的观点，如将 Loras 与特定任务的小型数据库结合等，丰富了讨论内容。

总的来说，关于 Loras 在 LLM 领域的应用和发展，Reddit 上的讨论热烈且深入，为我们提供了多维度的思考视角。

讨论总结#

主要观点#

金句与有趣评论#

情感分析#

趋势与预测#

详细内容：#