原贴链接

我想使用视觉语言模型（VLM）从任何包装食品中获取成分，我应该使用Pixtral还是其他更小的模型呢？我是否应该对Pixtral进行量化呢？我正在做一个从包装食品标签中提取文本的项目。这些标签通常有小字体、不同的字体和复杂的布局。我正在考虑使用Pixtral OCR，但想探索是否有更好的选择。问题：1. 从图像中提取结构化数据最准确的OCR模型或工具是什么？2. 我应该坚持使用FP32，还是FP16/量化在不损失太多准确性的情况下对性能优化有意义？3. 是否有任何尖端的OCR模型能很好地处理密集和复杂的文本布局？正在寻找在现实世界标签图像中能平衡准确性、速度和通用性的东西。欢迎任何推荐或建议！

讨论总结

原帖作者想要从包装食品标签提取文本，面临文本小、字体多变和布局复杂等挑战，正在考虑Pixtral OCR，询问最准确的OCR模型、量化是否影响性能、处理复杂布局较好的模型等。评论者们从不同方面进行了回应，包括分享自己的尝试经验、推荐相关项目或模型等，大家理性交流，没有明显的争执氛围。

主要观点

  1. 👍 Qwen2VL（或Qwen2VL - 7b）在从有不同布局文件（如发票）中提取文本时效果不错
    • 支持理由：评论者的自身实践表明取得了相当不错的结果。
    • 反对声音：无。
  2. 🔥 可查看surya项目（以及基于它的marker项目）来解决从包装食品标签提取文本的OCR模型选择问题
    • 正方观点：直接推荐可能有助于原帖作者找到合适模型。
    • 反方观点：无。
  3. 💡 任务更取决于技术，多数多模态大语言模型能处理从包装食品标签提取文本的任务
    • 解释：从良好的系统消息和多轮提示开始，增加多轮示例提高模型成功率，进而生成训练数据微调模型。
  4. 💡 预处理图像有助于得到一致结果，可利用标签几何形状分离数据并使用imagemagick操作
    • 解释：评论者基于自己在OCR文本提取方面的专利经验给出的建议。
  5. 💡 若Qwen2VL不行，可尝试llama3.2 - 11b微调运行
    • 解释：这是一种解决原帖问题的备用方案。

金句与有趣评论

  1. “😂 我正在做同样的事情，但针对的是具有不同布局的发票，我使用Qwen2VL（甚至是Qwen2VL - 7b）取得了相当不错的结果。”
    • 亮点：为原帖提供了一种可参考的成功经验。
  2. “🤔 我建议查看这个项目：https://github.com/VikParuchuri/surya”
    • 亮点：直接推荐了可能有用的项目。
  3. “👀 其更多的是关于你的技术，大多数多模态大型语言模型应该能够处理你的任务，即使在Q4。”
    • 亮点：从技术本质的角度看待原帖的任务。
  4. “😎 我有OCR文本提取方面的专利，或许我能说几句。”
    • 亮点：以专利持有者的身份参与讨论，增加观点的可信度。
  5. “🤓 如果Qwen2VL不能做到，你可以尝试对llama3.2 - 11b进行微调运行。”
    • 亮点：提供了新的解决思路。

情感分析

总体情感倾向为中性，大家都是在理性地分享经验、给出建议或进行技术讨论，没有明显的情感偏向。主要分歧点也较少，可能是因为原帖的问题比较聚焦在技术方面，大家更多地是从自己的技术认知和经验出发进行交流，没有涉及到一些容易引发争议的话题，如价值观等。

趋势与预测

  • 新兴话题：利用大型模型生成数据集来微调开源权重模型可能会引发更多讨论。
  • 潜在影响：如果能找到合适的OCR模型用于从包装食品标签提取文本，对于食品行业的信息化管理、食品安全监管等相关领域有一定的积极推动作用，例如更高效地统计食品成分等。

详细内容：

标题：寻找最佳 OCR 模型提取复杂标签文本的热门讨论

在 Reddit 上，有一个备受关注的帖子，题为“Recommendations for the Best OCR Model for Extracting Text from Complex Labels?”。该帖获得了众多关注，引发了热烈讨论。帖子的作者表示正在进行一个涉及从包装食品标签中提取文本的项目，这些标签通常具有小文本、不同字体和具有挑战性的布局。作者考虑使用 Pixtral OCR ，但想知道是否有更好的选择，并提出了一系列问题，比如最准确的 OCR 模型或工具是什么，应该选择 FP32 还是 FP16/量化以优化性能而不损失太多准确性，是否有处理密集和复杂文本布局特别出色的前沿 OCR 模型，希望能找到在准确性、速度和通用性之间平衡良好的解决方案。

在讨论中，主要观点如下： 有人表示自己在处理不同布局的发票时，使用 Qwen2VL 取得了不错的效果，甚至是 Qwen2VL-7b 。 有人建议查看 https://github.com/VikParuchuri/surya 这个项目。 有人认为关键在于技术，大多数多模态语言模型应该能够处理这个任务，甚至在 Q4 也可以，并建议从一个良好的系统消息和多镜头提示开始，添加尽可能多的多镜头示例，直到模型对未见过的数据有良好的成功率。 有人拥有 OCR 文本提取的专利，认为对于一致的结果，在将图像输入模型之前，应尽可能多地对图像进行预处理，使用标签中的几何形状来隔离所需的数据。 有人认为如果 Qwen2VL 不行，可以尝试对 llama3.2-11b 进行微调，但要先尝试其他评论中的技术。有人觉得 Pixtral 在视觉推理和结构化任务方面总体上比 QwenVL2 7b 更好。 有人刚在一张过度压缩的营养标签图片上尝试了这个用例，发现 Tesseract 表现最差，docling 也不太好，Qwen2 - VL - 7B - Instruct 是最好的，但不可靠且仍会犯错。 有人在 Le Chat 中尝试了 Pixtral ，运行良好，但不确定量化的版本如何工作。 有人称 Qwen2vl 在此表现出色，Paligemma 模型也很好，它是开源的，谷歌提供了微调的代码。

讨论中的共识在于大家都在积极探索各种可能有效的模型和技术，以解决从复杂标签中提取文本的难题。

特别有见地的观点如拥有专利的用户提供的预处理图像的建议，丰富了讨论的深度和实用性。

在这场讨论中，大家各抒己见，为寻求最佳的 OCR 模型解决方案贡献了自己的经验和想法。