原贴链接

总结：它们能在32倍压缩和大约25倍检索加速的情况下保持95%以上的检索准确率。详情：https://emschwartz.me/binary - vector - embeddings - are - so - cool/

讨论总结

这是一个关于二进制向量嵌入技术的讨论。原帖提到二进制向量嵌入在32倍压缩下能保持95%以上检索准确率和约25倍检索速度提升。评论者们积极参与讨论，主要话题围绕其技术特性、与其他技术或研究的关联、应用场景、实现方式、量化相关以及一些技术疑问展开，整体氛围积极向上，充满对新技术的好奇与探索。

主要观点

  1. 👍 二进制向量嵌入有高检索准确率和速度提升的优点。
    • 支持理由：原帖提及可在32倍压缩下保持95%以上检索准确率和约25倍检索速度提升。
    • 反对声音：无
  2. 🔥 廉价CPU可通过特定指令比较二进制向量嵌入。
    • 正方观点：特定指令（异或+xor和计算位1的个数popcnt）可实现比较，使操作方便。
    • 反方观点：无
  3. 💡 二进制向量嵌入的情况值得进一步探索。
    • 解释：需要探索它对不同嵌入模型的扩展和适应能力如何。
  4. 💡 特定训练下二进制向量嵌入效果可能更好。
    • 解释：如某些模型专门针对int8或二进制压缩进行训练时效果较好。
  5. 💡 二进制量化会有压缩损失。
    • 解释：在大型RAG应用中的实验表明，压缩必然会有损失且难以预测。

金句与有趣评论

  1. “😂 davernow: Not to mention cheap CPUs can compare them in two instructions (xor + popcnt)”
    • 亮点：简单直接地指出廉价CPU可通过特定指令比较二进制向量嵌入，体现技术的便捷性。
  2. “🤔 Midaychi: This is probably the better takeaway; that this would make homegamer rag more convenient.”
    • 亮点：强调该技术对普通玩家操作的便利性。
  3. “👀 Dude, I literally wrote working binary quantisation code on Friday with 32x compression and retrieval speed!”
    • 亮点：分享个人成果，与原帖内容相关联，体现出惊喜之感。
  4. “🤔 ekaj: Very interesting, thanks for sharing. This sends like it needs some more exploration into how well it scales/adapts to different embedding models”
    • 亮点：表达对技术的兴趣以及探索的必要性。
  5. “😎 dasnihil: holy nice, i’ll consider switching my rag vectorizer to this after some testing. thanks for sharing.”
    • 亮点：展示出对新技术的认可以及应用的意向。

情感分析

总体情感倾向积极。主要分歧点较少，大家基本都认可二进制向量嵌入技术的价值。可能的原因是该技术展示出了较好的性能（如高检索准确率和速度提升），引发了技术爱好者们的兴趣，大家更多地是在探讨技术本身的特性、应用和拓展等。

趋势与预测

  • 新兴话题：对二进制向量嵌入投影到二维空间以及二维图可视化有效性的探究可能会引发后续更多可视化方面的讨论。
  • 潜在影响：如果在Cohere模型等更多模型上验证二进制量化训练对检索准确性有价值，可能会促使更多模型采用这种训练方式，推动相关技术在更多领域的应用。

详细内容：

标题：《关于二进制向量嵌入的热门讨论》

在 Reddit 上，一篇题为“Binary vector embeddings are so cool”的帖子引发了热烈关注。该帖的主要内容为：它们能够在实现 32 倍压缩的情况下仍保持 95%以上的检索准确率，并且检索速度能提升约 25 倍，并附上了相关链接https://emschwartz.me/binary-vector-embeddings-are-so-cool/ 。此帖获得了众多点赞和大量评论，引发了关于二进制向量嵌入的多方面讨论。

讨论焦点与观点分析： 有人指出，便宜的 CPU 可以通过两个指令（xor + popcnt）来处理它们。还有人认为这会让家庭游戏玩家的体验更加便捷。有人提到“popcnt”，并表示这是美国国家安全局规定的指令。有人分享了自己的经历，称周五就写了具有 32 倍压缩和检索速度的二进制量化代码，并认为这并非自己的独有发现。也有人表示非常有趣，感谢分享，还提出这需要进一步探索其在不同嵌入模型中的扩展性和适应性。还有人提到，当模型专门针对 int8 或二进制压缩进行训练时效果最佳。有人表示在测试后会考虑切换到这种方式。有人认为这是几个月前某篇论文讨论过的，但最终选择了三进制以平衡大小和精度。有人询问除了 mixedbread 外是否有其他开源库来进行二进制量化。有人指出 numpy 自 v2 版本新增了 bitwise_count() ，使得在 CPU 上实现变得简单快速。有人好奇在 Cohere 的模型上测试二进制量化是否真的值得。有人探讨了如何将其投射到 2D 空间以及 2D 嵌入可视化的效果。还有人通过多年运行相对大型的 RAG 应用的经历指出，二进制向量并非没有权衡，压缩会有损失，而且这种损失难以预测。

讨论中的共识在于大家普遍认为二进制向量嵌入具有一定的价值和潜力，但也存在一些需要解决和探索的问题。特别有见地的观点是指出不同模型针对二进制量化的训练方式会影响效果，以及压缩损失与数据的复杂性相关。这些观点丰富了对于二进制向量嵌入的讨论，让人们对其有了更深入的认识。