原贴链接

如果你一直在探索向量数据库的世界，你可能已经注意到，它们中的大多数倾向于采用NoSQL格式，而非传统的SQL方法。这是为什么呢？我只是真的很好奇。可能是可扩展性？

讨论总结

整个讨论围绕向量数据库为何大多采用NoSQL格式而非SQL格式展开。参与者从向量数据库的性质（如非关系型）、存储成本、实际使用场景（如搜索文档）、不同数据库的性能比较、自身使用经验等多个角度进行分析，也存在一些对原帖观点的质疑、反驳或给出反例的情况，整体氛围是理性探讨、各抒己见。

主要观点

  1. 👍 向量数据库非关系型的特性是采用NoSQL格式的重要原因
    • 支持理由：很多观点指出向量数据库不是为处理关系型数据设计的，而NoSQL格式更适合其需求。
    • 反对声音：有评论认为这种观点缺乏依据，不能仅因不使用SQL就判定使用NoSQL。
  2. 🔥 部分向量数据库使用NoSQL是跟风
    • 正方观点：有人认为是大家都在用所以多数向量数据库采用NoSQL格式。
    • 反方观点：也有人反驳这一观点，认为不是跟风，大厂商可能不用NoSQL且向量数据库中没有理由使用SQL。
  3. 💡 在NoSQL中存储原始标记成本更低
    • 解释：向量空间和底层标记数据存在单一关系，SQL更强调关系，所以在NoSQL中存储原始标记成本低。
  4. 💡 SQLite在用户数少于数万时有基础设施方面的优势
    • 解释：在一些小规模场景下，SQLite相比NoSQL有一定优势。
  5. 💡 存在支持SQL的向量数据库txtai
    • 解释：通过多种组合可支持SQL查询，有其适用的用户群体。

金句与有趣评论

  1. “😂 Why do cars have wheels when they can have wings”
    • 亮点：以诙谐的类比反问句暗示原帖问题逻辑存在跳跃性，很有创意地表达态度。
  2. “🤔 I need at minimum SELECT FROM WHERE GROUP BY HAVING ORDER BY. I don’t want to learn a so - so DSL to do such basic queries.”
    • 亮点：表达了对基本SQL查询语句的需求以及对学习新的领域特定语言进行基本查询的抵触。
  3. “👀 There’s a single relation between the vector space and the underlying token data, so it’s cheaper to store the raw tokens in nosql (sql, remember, is when the emphasis is on relstions)”
    • 亮点：从向量空间和底层标记数据关系的角度解释了在NoSQL中存储原始标记成本更低的原因。
  4. “🤔 Gald you clarified that it’s an opinion because it’s badly uninformed and flat out wrong.”
    • 亮点：直接反驳他人观点，用词比较犀利。
  5. “👀 All NoSQL databases eventually get SQL support.”
    • 亮点：从宏观角度提出NoSQL数据库发展趋势，有独特的视角。

情感分析

总体情感倾向较为理性客观。主要分歧点在于向量数据库采用NoSQL格式的真正原因，是因为向量数据库自身特性、跟风还是其他原因。可能的原因是大家对向量数据库的理解和使用经验不同，各自从不同的角度（如性能、成本、查询需求等）去看待这个问题。

趋势与预测

  • 新兴话题：NoSQL数据库逐渐获得SQL支持的趋势可能会成为后续讨论的一部分，以及向量数据库如何更好地与其他应用（如ollama）集成。
  • 潜在影响：如果NoSQL数据库都获得SQL支持，可能会改变向量数据库对数据格式的选择倾向，影响数据库市场格局；向量数据库与其他应用的集成若有更好的解决方案，可能会拓展其应用范围。

详细内容：

《为何多数向量数据库采用 NoSQL 格式而非 SQL？Reddit 热门讨论引发深思》

在 Reddit 上，一个题为“为何多数向量数据库使用 NoSQL 格式而非 SQL？”的帖子引发了热烈讨论。该帖子获得了众多关注，众多用户纷纷发表见解。

讨论的焦点主要集中在以下几个方面：

有人认为，先不谈性能，很难想象在向量数据库中进行什么样的关系查询。也有人指出，在任何一种向量记录与其他表存在一对多关系的情况下，如多用户系统或角色扮演系统，关系型数据库就有用武之地。

有用户觉得可以将关系型数据存储在 Postgres 中，通过两个查询解决问题。还有人提到，虽然可以使用 NoSQL 数据库处理非嵌入关系型数据，并在客户端代码中手动处理外键，但向量记录可以与其他数据相关联，这正是关系型数据库的目的。

一些用户表示至少需要 SELECT、FROM、WHERE、GROUP BY、HAVING 和 ORDER BY 等基本查询操作，不想为了做基本查询去学习一种不太好的特定语言。也有用户指出可以使用 pgvector 在 Postgres 中拥有单个向量列，并将其他列用于元数据。

有人认为在很多情况下，SQLite 在磁盘上的速度甚至比 Redis 还快，而且很多手机应用都使用 SQLite 进行存储。

关于为何向量数据库多采用 NoSQL 格式，有人认为是因为向量空间和底层令牌数据之间存在单一关系，所以将原始令牌存储在 NoSQL 中更便宜。但也有人反驳称，在向量数据库中使用 SQL 毫无理由，因为它不是关系型数据，而且真正的大型向量数据库并非都采用 NoSQL 格式。

还有人指出向量数据库旨在快速在数据集中找到最近的嵌入，其大多数用例不需要严格的 SQL 连接格式，NoSQL 是更合适的数据格式。

在这场讨论中，各方观点激烈碰撞，既有对现有数据库架构的坚守，也有对新技术趋势的探索。但大家普遍认为，选择何种数据库格式应根据具体需求和应用场景来决定。

总之，这场关于向量数据库格式选择的讨论，充分展示了数据库领域的多样性和复杂性，也为技术从业者和爱好者提供了丰富的思考角度。