原贴链接

简而言之，我有大约7000个.txt文档，大小为81MiB。我尝试使用AnythingLLM内置的嵌入器，但后来意识到它使用的是CPU。我还有1.4GB的PDF文件需要包含在内，所以我不能依赖CPU，否则我可能要等整整一年。 我有nvidia 3080作为我的GPU

我继续在https://huggingface.co/sentence-transformers（如果这是正确的开始地方）寻找嵌入模型，但它们太多了，我感到不知所措。

任何帮助或正确的方向指引都将非常感激。谢谢！

讨论总结

本次讨论主要围绕用户寻找适用于GPU的高效嵌入模型，以处理大量文本和PDF文件的需求展开。用户最初尝试使用AnythingLLM的内置嵌入器，但发现其使用CPU导致处理速度过慢。用户拥有NVIDIA 3080 GPU，并在Hugging Face上寻找合适的模型，但因模型众多而感到困惑。讨论中，多位用户推荐了多个模型，包括mxbai-embed-large、nomic-embed-text、e5-large-v2、multilingual-e5-large等，并提供了使用建议和参考资源。此外，还有用户建议使用带有GPU加速的sentence transformers，并推荐了具体的模型选择列表。

主要观点

  1. 👍 寻找适用于GPU的嵌入模型
    • 支持理由：用户需要处理大量文本和PDF文件，GPU加速能显著提高处理速度。
    • 反对声音：无
  2. 🔥 推荐使用mxbai-embed-large模型
    • 正方观点：该模型性能接近OpenAI嵌入模型，值得尝试。
    • 反方观点：无
  3. 💡 推荐使用nomic-embed-text模型
    • 解释：该模型处理速度较快且效果良好，但需注意大模型可能导致GPU负载过高。
  4. 👀 推荐使用e5-large-v2和multilingual-e5-large模型
    • 解释：e5-large-v2特别适合文档嵌入，支持GPU；multilingual-e5-large适合多语言文本。
  5. 🚀 使用带有GPU加速的sentence transformers
    • 解释：建议安装pytorch与CUDA，并参考Hugging Face的模型选择列表。

金句与有趣评论

  1. “😂 Haven’t used it but I would try mxbai-embed-large”
    • 亮点：直接推荐了一个具体的模型，简洁有力。
  2. “🤔 I tried this model, and it has given me performance close to openAI embeddings for my dataset recently. It’s worth trying indeed.”
    • 亮点：分享了个人使用经验，增加了推荐的可靠性。
  3. “👀 Best model for you will be https://huggingface.co/intfloat/e5-large-v2”
    • 亮点：直接指出了最适合的模型，并提供了链接。

情感分析

讨论的总体情感倾向积极，用户们热心提供帮助和建议。主要分歧点在于模型的选择和使用，但大多数用户都倾向于推荐性能优越且支持GPU的模型。可能的原因是用户们都面临相似的性能问题，希望通过GPU加速来解决。

趋势与预测

  • 新兴话题：随着更多用户意识到GPU加速的重要性，未来可能会有更多关于特定模型性能和使用方法的讨论。
  • 潜在影响：高效的嵌入模型将极大提升文本和PDF文件处理的效率，对相关领域的研究和应用产生积极影响。

详细内容：

标题：在 GPU 上运行的嵌入模型推荐引发热烈讨论

在 Reddit 上，一则题为“Could you recommend me an embedding model that works on GPU?”的帖子引发了众多关注。该帖子作者表示拥有约 7k 大小为 81MiB 的.txt 文档，还有 1.4GB 的 PDF 文件，之前使用 AnythingLLM 的内置嵌入器但发现其使用 CPU，作者拥有 NVIDIA 3080 显卡，在 huggingface.co/sentence-transformers 寻找嵌入模型时感到不知所措，希望得到帮助。此帖获得了大量的讨论，众多用户纷纷给出了自己的建议。

讨论的焦点主要集中在不同的嵌入模型推荐及使用经验分享上。有用户推荐尚未使用但值得一试的 mxbai-embed-large 模型；也有用户表示自己使用某模型后性能接近 openAI 嵌入模型；还有用户提到 ollama.com/library/nomic-embed-text 是自己长期使用的选择，并分享了相关的使用经验和代码示例。另外，有的用户认为 intfloat/e5-large-v2 是不错的选择，尤其是对于文档嵌入，若是文本为多语言的，则推荐 intfloat/multilingual-e5-large 。

有用户分享道：“我之前也遇到过同样的问题，使用带有 GPU 加速的 sentence transformers 就能解决，需要安装/使用带有 CUDA 的 sentence transformers/pytorch，而不是单纯运行‘pip install sentence-transformers’。”

同时，也有用户建议参考 huggingface 的 leaderboard 来选择适合的模型，并提供了相关链接：https://huggingface.co/spaces/mteb/leaderboard 。

讨论中的共识在于，需要根据自身的需求和数据集来测试和选择合适的嵌入模型，不能仅仅依赖于他人的推荐或模型的评级。

然而，对于具体选择哪个模型才是最优解，仍存在一定的争议。不同的用户基于自己的使用经验和数据情况，有着不同的看法和推荐。

总之，这场关于在 GPU 上运行的嵌入模型的讨论为有类似需求的人们提供了丰富的参考和思考方向。