向量数据库是什么？
为什么要使用向量数据库？
怎么创建和使用向量数据库？
1. 是什么
简单来说，向量数据库是一种专门用于存储、检索和管理高维向量的数据库。
要理解这句话，我们需要先明白几个关键概念：
向量： 在这里，向量指的是一系列数字的集合，它可以表示任何非结构化数据（如文本、图片、音频、视频）的“本质”或“特征”。例如，一段文字“今天天气很好”，通过机器学习模型（如 OpenAI 的 Embedding 模型）可以转换成一个由几百个数字构成的向量，比如
[0.1, 0.5, -0.2, ... , 0.8]。这个向量就捕捉了这句话的语义信息。高维： 这些特征向量通常有几百甚至几千个维度，这就是“高维”的含义。
向量嵌入： 将非结构化数据转换为向量的过程称为“向量化”或“生成嵌入”。
所以，向量数据库的核心工作不是存储原始数据（如一张图片的JPEG文件），而是存储这些数据对应的向量。当您要搜索时，它也是在向量空间中进行计算，而不是直接比对原始数据。
核心特性：相似性搜索
与传统数据库的精确匹配（例如 WHERE name = ‘张三’）不同，向量数据库最擅长的是相似性搜索，也称为近似最近邻搜索。
目标： 给定一个查询向量，在数据库中快速找出与它“最相似”的向量。
如何衡量相似性： 通过计算向量之间的距离（如余弦相似度、欧几里得距离）。距离越近，相似度越高。
一个简单的比喻：
想象一个图书馆：
传统数据库： 像按书名或作者名的精确索引卡。你只能精确查找《三体》这本书。
向量数据库： 像一位聪明的图书管理员。你告诉他“我想找一本关于宇宙黑暗森林法则的科幻小说”，他能理解你的语义，然后在整个图书馆里帮你找到主题最相近的书籍，即使这些书的名字里没有“黑暗森林”这几个字。
2. 为什么用
随着AI，尤其是大模型的爆发，向量数据库变得至关重要。主要原因如下：
解锁非结构化数据的力量： 世界上超过80%的数据是非结构化的（邮件、报告、图片、视频）。传统数据库难以处理这些数据。向量数据库通过将其转换为向量，使计算机能够理解和检索这些数据的“含义”。
实现高效的相似性搜索： 对于推荐系统、图片搜索、反欺诈等场景，我们需要的是“相似”的结果，而不是“精确”的结果。向量数据库为此类搜索做了专门优化，速度极快。
作为大模型的外部记忆库： 这是当前最火热的应用——检索增强生成。
问题： 大模型的知识有截止日期，且无法学习私有数据，还可能“幻觉”（胡编乱造）。
解决方案： 将您的私有知识库（公司文档、帮助中心等）转换成向量，存入向量数据库。当用户提问时，先从向量数据库中检索出最相关的信息，然后将这些信息和问题一起交给大模型生成答案。
好处： 答案更准确、时效性更强，并且基于您提供的可靠数据。
主要应用场景：
语义搜索： 超越关键词匹配，理解用户搜索意图。
推荐系统： “喜欢A商品的用户也喜欢B、C、D”，这些商品在向量空间中是相近的。
图像和视频检索： 以图搜图、内容审核。
异常检测： 异常行为在向量空间中会远离正常行为。
AI代理和聊天机器人： 为LLM提供上下文和知识库。
3. 怎么用
创建一个可用的向量数据库系统通常包含以下四个核心步骤。我们以一个“公司内部文档智能问答系统”为例来说明。
第一步：生成向量嵌入
准备数据源： 收集您的文档（PDF、Word、网页等）。
切片： 将长文档切分成更小的文本片段（如每段几百个字符），以便精确检索。
选择嵌入模型： 选择一个合适的模型来将文本转换为向量，例如 OpenAI 的
text-embedding-3-small、开源模型如BGE等。调用模型生成向量： 将每个文本片段送入模型，得到对应的向量。
第二步：存储向量和数据
选择向量数据库： 选择一个合适的向量数据库。流行的选择包括：
Pinecone： 全托管云服务，简单易用。
Chroma： 轻量级开源数据库，非常适合入门和原型开发。
Weaviate： 开源、功能强大，支持混合搜索（向量+关键词）。
Qdrant： 开源，性能出色，用 Rust 编写。
Milvus： 开源，专为大规模、高并发场景设计。
建立连接和集合： 连接到数据库，创建一个“集合”或“索引”（类似于传统数据库的表）。
插入数据： 将第一步中生成的向量和对应的原始文本片段（或其他元数据）一起存入向量数据库。
第三步：进行查询/检索
将问题向量化： 当用户提出一个问题（如“我们公司的年假政策是怎样的？”），使用同一个嵌入模型将这个问题转换为一个查询向量。
执行相似性搜索： 在向量数据库中，根据指定的相似度算法（如余弦相似度），查找与查询向量最相似的K个向量。
返回结果： 数据库返回最相似的文本片段及其原始内容。
第四步：集成应用（例如，结合大模型）
组装提示词： 将第三步返回的相关文本片段作为上下文，和用户的问题一起组装成一个详细的提示词，发送给大模型（如 GPT-4）。
提示词示例：
请根据以下上下文回答问题。上下文：{从向量数据库检索到的相关文本}。问题：{用户原始问题}。
获取最终答案： 大模型基于您提供的可靠上下文生成准确、可靠的答案，并返回给用户。
技术栈示例（使用 Python + Chroma + OpenAI）：
import chromadb
from openai import OpenAI
# 1. 初始化客户端和嵌入模型
client = OpenAI(api_key=‘你的密钥’)
chroma_client = chromadb.PersistentClient(path=“./my_chroma_db”)
collection = chroma_client.get_or_create_collection(name=“my_documents”)
# 假设你已经有了切分好的文档列表 `documents`
def get_embedding(text):
response = client.embeddings.create(input=text, model=“text-embedding-3-small”)
return response.data[0].embedding
# 2. 生成向量并存入数据库（假设只存一条做演示）
doc_text = “公司年假规定：员工工作满一年后享有15天年假。”
doc_embedding = get_embedding(doc_text)
collection.add(
embeddings=[doc_embedding],
documents=[doc_text],
ids=[“doc_1”]
)
# 3. 进行查询
query = “我工作一年了，有多少天假期？”
query_embedding = get_embedding(query)
results = collection.query(
query_embeddings=[query_embedding],
n_results=1
)
# 4. 打印检索到的相关文档
print(“检索到的相关文档：”, results[‘documents’][0][0])4. 对比SQL
5. 主流使用
为了帮你快速建立整体印象，下面这个表格汇总了目前最主流的几款向量数据库的核心特性和适用场景。
💡 如何根据项目需求选择
了解了各个数据库的特点后，你可以通过回答下面几个关键问题来缩小选择范围：
你的数据规模和性能要求是多少？
亿级以上大规模、高并发生产环境：应优先考虑 Milvus 或 Pinecone。Milvus提供更强的自定义和控制能力，而Pinecone则提供全托管服务，简化运维。
百万到千万级、注重高性能和易用性：Qdrant 是一个非常不错的选择，它在性能、功能和易用性之间取得了很好的平衡。
百万级以下、原型开发或小型项目：Chroma 的简单易用会让你事半功倍。如果你的系统已基于 PostgreSQL，使用 pgvector 扩展是集成成本最低的方案。
你的团队技术和运维能力如何？
拥有专业的运维团队，追求极致控制和扩展性：选择 Milvus，但需要接受其较高的部署和运维复杂度。
团队规模小或希望完全免运维：Pinecone 这样的全托管服务是最佳选择，但需考虑成本。
希望平衡易用性和控制力：Qdrant 和 Weaviate 提供了相对简单的部署方式（如Docker）和友好的API，同时允许你自托管并拥有控制权。
你的核心业务场景需要哪些特定功能？
需要结合关键词和语义进行混合搜索：Weaviate 在这方面非常擅长。
需要极强的元数据过滤（如按类别、标签、时间范围精细筛选）：Qdrant 的过滤能力备受好评。
需要构建知识图谱或处理多模态数据（文本、图片等）：Weaviate 的内置能力非常适合。
系统已深度使用PostgreSQL，希望平滑引入向量检索：pgvector 几乎是无缝集成的首选。
评论区