什么是向量数据库，其工作原理是什么？

向量数据库（vector database）是一种数据库，用于存储、管理和查询代表图像、文本或其他信息等复杂数据的高维向量。

向量数据库是专为存储、管理和查询图像、文本甚至抽象概念等复杂数据而设计的强大工具。但是，向量数据库真正的超强之处在于能够以闪电般的速度进行相似性搜索，眨眼间就能在数字草堆中找到针。

在这个世界上，理解上下文和找到微妙的联系可以决定用户体验的好坏，因此向量数据库变得不可或缺。它们是推动图像识别、自然语言处理 (NLP) 和推荐系统等尖端应用的引擎。

本指南将深入探讨向量数据库在存储和检索不同类型数据时的工作原理。

您将发现它们如何存储和检索不同类型的数据，探索它们的实际应用，并了解它们如何为您的业务工作增添动力，同时减少您的工作量。

根据 2023 年的数据来源，42% 的受访企业规模公司表示 在其业务中使用了人工智能，另有 40% 的受访者表示正在探索人工智能。这项技术改变了从数据中寻找有用模式的游戏规则，节省了企业建立有利联系的时间。然而，它无法独立完成所有工作——这正是向量数据库的优势所在。它们是众多机器学习算法背后的动力源泉，在从传统人工智能到尖端生成模型的所有领域中都发挥着至关重要的作用。通过往向量数据库添加内容，您不仅可以存储数据，还可以为系统提供动力，使其与您的业务一起学习和发展。不过，向量数据库的魅力远不止机器学习。从增强搜索能力到实现超个性化客户体验，它们解锁了一个充满可能性的世界。

简单地说，向量数据库是以数字（向量）集合进行转换和存储的数据集合。这样就可以轻松地对这些内容进行数学处理。由于机器不像我们一样与世界互动，因此它们将数据视为一组数字。

向量数据库支持的算法让人工智能程序有能力发现内容中的模式。如果您与人工智能系统进行过交互，那么这些模式就是您所经历过的情境学习的基础。随着高质量内容的不断增加，人工智能程序能够发现隐藏的相关性，进行预测，并以非凡的方式生成或总结内容。

在基于人工智能的图像识别应用中，图像可以编码为高维向量。向量数据库可以通过比较代表这些图像的向量，帮助快速找到与查询图像视觉相似的图像。这比逐个像素比较图像要快得多，也准确得多。

在 NLP 中，向量可以代表单词、句子甚至整个文档。这样，即使不包含完全相同的单词，也能利用向量数据库找到语义相似的文本。这种能力是搜索引擎、聊天机器人和推荐系统等应用的基础，在这些应用中，理解词语背后的含义比仅仅匹配关键词更为重要。这对于在许多系统中有效使用生成式人工智能也很重要。

向量数据库还支持混合搜索等高级搜索技术，并支持检索-增强生成（RAG）模式。混合搜索将传统的基于关键字的搜索与向量相似性搜索结合在一起，为提高搜索相关性和准确性提供了一种强大的方法。另一方面，

RAG 模式使用向量数据库，从您自己的数据源中为大型语言模型提供相关的最新信息，从而增强大型语言模型的能力。

向量数据库（vector database）和关系数据库（relational database）的结构相似。它们都是数据库管理的重要组成部分，但最终目标不同。

关系数据库注重数据的一致性和结构化。 它们的功能与电子表格类似，通过直观的行和列帮助数据保持条理清晰。 每一行都是自己的记录，而每一列都会提供额外的属性。 例如，关系数据库中的一行可以是 "男士服装"。 一列则会提供更具体的信息，如 "夹克 "或 "袜子"。

向量数据库很简单——就是存储一长串数字，但系统中的行为 更抽象。由于向量编码可以代表意义，因此向量提供了情感和语境上的细微差别。

如果说关系数据库更像电子表格，那么可以把向量数据库想象成网络。数据管理系统若要查找数据之间令人信服的微妙关系，就必须将数据编码为向量并使用向量数据库。

请看上面的例子。 关系数据库可以存储有关男士服装的信息，并维护诸如相同颜色的夹克和裤子等关系，但除非在数据中明确显示，否则它不会找到这些关系。 通过向量数据库可以了解上下文，例如了解衬衫和衬衣之间的关系，或者了解买鞋的人可能也想买袜子。

此外，向量数据库还能推断出更细微的关系。 例如，它可以识别出经常购买商务装束的客户可能会对皮革公文包或高档手表感兴趣，即使这些物品没有明确归类为商务装束。它还可以理解季节性趋势，向冬季购买厚外套的客户推荐春季的轻便夹克，而无需为每个季节-物品组合制定明确的规则。 这种对上下文的理解使推荐系统和搜索功能更加复杂，让企业能够提供更加个性化和直观的购物体验。向量数据库可为机器学习程序提供动力，从而提供更好的在线体验。 他们可能会推荐某些服装，或根据顾客的活动及时建议折扣。

传统数据库不仅仅是关系型数据库。 例如，有一类 "NoSQL "数据库本质上是非关系型数据库。 向量数据库和 NoSQL 数据库乍一看很相似。它们都使用非关系型基础，为企业提供无与伦比的可扩展性。

不过，NoSQL 数据库适用于处理文档和 JSON 等结构，而向量数据库适用于处理长串数字组合。操纵和比较向量是一项数学密集型工作，传统 NoSQL 数据库并不擅长此道。

实际上，数据库中的关系型、文档型和向量型存储和操作都有重要用途，而且系统往往使用不止一种模型，并将它们结合在一起使用。

向量数据库是一种数字应用程序，它以被称为 "向量 "的长数字集存储各种形式的信息（回想一下高中代数课的内容）。 每个数据对象都有一个被称为 "向量嵌入 "的数字表示。

以下是围绕向量数据库和 向量搜索的常见问题。 以便让您更清楚地了解情况。

向量嵌入是以高维向量的形式对数据（如文字、图像或其他实体）进行数字表示。大多数嵌入式向量都有数百到数千个维度，每个维度都有一个数字。

这种嵌入式捕捉了数据的语义或结构信息，可以进行高效的比较和相似性搜索，通常用于机器学习和人工智能，将复杂的数据转换成计算机可以轻松处理和分析的格式。

想象一下，你有三个单词："国王"、"王后 "和 "男人"。 向量嵌入将这些词语转换成数字（向量）列表，以计算机能够理解的方式捕捉其含义。 例如

• "国王 "可以表示为 [0.8, 0.6, 0.9, .....]
• "皇后 "可以表示为 [0.8, 0.6, 0.8, .....]
• "丈夫 "可以表示为 [0.7, 0.4, 0.9, ......]

在这些向量中，数字的计算方式反映了意义的异同。 在这里，"king"（国王）和 "queen"（王后）具有相似的向量，因为它们是相关词，而 "husband"（丈夫）的向量略有不同，它更接近于 "king"（国王）而不是 "queen"（王后）。在这些向量中，数字的计算方式反映了意义的异同。在这里，“king ”和 “queen ”的向量相似，因为它们是相关词，而 “husband ”的向量略有不同，更接近 “king ”而不是 “queen”。
这有助于计算机执行查找具有相似含义的单词和短语或理解单词之间的关系等任务。 向量嵌入对研究海量非结构化和半结构化数据至关重要。 每个向量之间的距离有助于机器了解数据之间的相似或不相似程度。

向量嵌入的维度越多，机器就能从被编码的数据中发现更多细微差别。从单个单词到长篇网页，所有内容都被转换成向量，存储在向量数据库中，并用于基于向量的算法。许多人工智能工具都基于向量和向量嵌入，没有它们就无法工作。 所有这些向量嵌入都是借助 “高维向量 ”完成的。

了解更多关于向量嵌入的信息

高维向量是由许多元素组成的数字列表，每个元素都代表其所描述数据的不同特征或特性。这些向量存在于高维空间中，也就是说，根据数据的复杂程度，它们可能有几十、几百甚至上千个维度。 例如，高维向量可以表示图像的各种属性，如颜色、纹理和形状，每个维度捕捉这些属性的不同方面。

在机器学习和数据分析中，高维向量用于以结构化的方式封装复杂信息，从而实现高效计算和分析。 高维向量也更容易捕捉次要属性，从而增加了简单事实之外的复杂性。

虽然向量数据库（vector database）和向量搜索（vector search）是相似的术语，但它们的主要区别在于各自的功能和过程。向量数据库是一种完整的数据管理解决方案，而向量搜索则是一种语义搜索工具。

当你进行向量搜索时，你的查询向量将与大量的向量集合进行比较，试图找出相似之处。这种操作有时被称为相似性搜索。 与传统数据库不同，这里的目标是在短时间内找到相似的匹配项。您的数据库是您进行向量搜索的地方。 使用索引，您将享受到快如闪电的相似性搜索，从而省去分析数据的繁琐工作。

向量数据库中的索引是对存储的向量进行组织和结构化的过程，以便在进行相似性搜索时高效、快速地检索数据。

索引基本上提供了一种比遍历所有不同向量更快的检索和比较信息的方法。 当你拥有数十亿的数据量时，这一点至关重要。

向量数据库建立了不同类型的索引，开发人员通常还可以添加新的索引。 由于向量数据库的主要用途是从一个向量开始，找出与之最接近的其他向量，因此在选择向量数据库时，了解和检查所用的索引和算法非常重要。

你会听到的最常见的距离模型有 欧氏距离（Euclidean distance）和 余弦相似性（Cosine similarity）。您可以把欧氏距离看作是多维空间中任意两点之间的直线距离。这是一个简单易懂的指标。余弦相似度则基于两个向量之间的角度。从数学角度讲，它比较的是向量的方向而不是大小，在维数较高的文本分析中非常有用。这些指标的缺点之一是计算量大，速度慢。

事实证明，寻找近似近邻的方法要快得多，而且效果也几乎一样好。如果您的向量数据库包括 近似近邻（Approximate Nearest Neighbor）搜索 (ANNS)，这表明它可以在很大范围内正常工作，与余弦相似性结果相比，质量几乎没有变化。

您是否担心自己的品牌能否跟上世界其他品牌的步伐？根据最近的一项研究，大约 43%的 IT 决策者担心其基础设施无法应对未来的数据需求。

让我们进一步了解一下转用向量数据库后企业将享受到的优势。

由于向量数据库本身就是为处理大型数据集而构建的，因此您可以更轻松地进行扩展。 使用大型机器学习应用程序的企业将能够在不切换到新数据库的情况下实现增长。

企业以光速发展（您的数据也是如此）。向量数据库可为您提供实时处理，因此您可以享受更快的查询响应时间。 这种高效的数据处理系统使日常快速决策变得更加容易。 这对于需要更快响应时间的灵活行业（如医疗保健或航运业）尤其有用。

当您的数据有多种形式时，您需要一个适应性强的数据库来对它们进行分类。向量数据库能够为您的企业处理多媒体和非结构化数据。说明一下：非结构化数据是指没有组织起来并以数据库格式存储的任何数据量。换句话说，这个术语指的是任何需要转化为有用数据集的文本、图像或视频文件集合。

传统搜索引擎会尝试找到与您所查询内容完全匹配的内容。向量数据库提供了一种更微妙、更细致的方法，可以提供类似但不精确的结果。这种方法提供了不同程度的准确性。 借助向量数据库，您可以获得基于相似度指标的查询结果。相似度指标能让您更深入地了解数据集内的联系和模式。

这种复杂程度是区分 向量搜索与传统关系数据库区别开来的几个细节之一。

个性化的方法对您独特的业务运营至关重要。向量数据库是实现个性化搜索体验的最实用工具之一，这得益于其精妙的方法。不仅您的企业可以使用这些工具，您的客户也可以。 个性化和推荐系统在客户的在线购买旅程中大受欢迎。例如，电子商务经常使用向量数据库向网站访问者提供智能推荐。

这些数据库能适应他们的行为，根据日常活动或以前的购物记录量身定制推荐。

虽然向量数据库对需要扩展的企业非常有用，但并不适合所有人。在进行转换之前，首先要考虑以下障碍。

传统数据库的范围可能更有限，但也更容易实施。 向量数据库的最大障碍之一是长期部署和维护的复杂性。

您不仅需要为向量数据库找到最佳的服务器，还必须经历导入数据的过程。 您还需要确定哪种向量数据库版本最适合您的业务。

无论您决定使用向量数据库服务还是开源模式，您都将面临更高的学习曲线。向量数据库是一种复杂的 数据库管理系统，其范围在不断扩大。

一些企业可能会担心他们是否有能力跟上向量数据库的变化和增加。同样，其他企业可能也不愿意为进入向量数据库世界而投入更高的运营成本。

现在，您对向量数据库有了一个更宽泛的了解，让我们来看看它们最常见的应用。您已经熟悉了它们在机器学习方面的优势，但这只是众多最终结果之一。

您的企业是否经常处理大量图像、.gif 和视频？ 向量数据库可以帮你解决整理工作的难题。 您可以根据您处理最多的数据类型或您偏好的索引技术来选择向量数据库模型。 例如，如果您通常处理静态图像，可以选择图像向量数据库。 如果您要混合使用音频、图像和视频，可以使用多媒体向量数据库。

向量数据库还能根据您的查询向量推荐特定的图像或视频。 这一功能对于面部识别或内容营销活动等任务非常有用。

自然语言处理 (NLP) 工具是企业所需的最有效资源之一。 仅仅匹配查询是不够的：您需要了解语义和情感。

向量数据库非常适合人工智能程序的 NLP 任务。 它们让企业和人工智能都能轻松找到数据之间的逻辑和微妙联系。 借助索引和快速检索，这些数据库可在短时间内提供敏锐的洞察力。 例如，如果您曾考虑过为自己的企业实施聊天机器人，那么向量数据库就是您必须拥有的附加项。 聊天机器人在大型语言模型的辅助下表现最佳。

无论何时您需要绘制业务进展图，向量数据库都能够加速结果产出。这些数据库系统可用于图分析，具有社区识别和连接预测等功能。

向量数据库的一个鲜为人知的好处是降低欺诈风险。由于向量数据库在查找数据联系方面非常有用，因此它们还能发现矛盾之处。

这一功能对于快速发现异常活动并立即采取行动至关重要。您的向量数据库还可以提供网络流量分析和当前网络安全措施等详细信息。

混合搜索是一种先进的技术，它结合了传统的基于关键字搜索和向量搜索提供的语义理解的优势。 这种方法有几个好处：

1. 提高相关性：通过同时考虑关键字的精确匹配和语义相似性，混合搜索可以提供更准确、与上下文更相关的搜索结果。
2. 处理边缘情况：它能有效处理仅靠关键字搜索或向量搜索可能无法解决的情况。
3. 灵活性：混合搜索可根据具体的使用情况，对关键字和语义匹配之间的平衡进行微调。

利用向量数据库实施混合搜索通常包括：

• 同时进行关键词搜索和向量相似性搜索
• 使用自定义评分算法对结果进行组合和排序
• 根据应用的具体要求，调整关键词与向量搜索结果的权重

RAG 是一种人工智能架构，它通过向大型语言模型（LLM）提供从知识库（通常存储在向量数据库中）中检索的相关信息来增强这些模型。

这种方法解决了传统 LLM 的几个局限性：

1. 最新信息：RAG 允许 LLM 获取最新信息，克服了在静态数据集上训练模型的局限性。
2. 特定领域的知识：通过从自己的数据源中检索信息，RAG 可使 LLM 利用特定领域的知识。
3. 减少幻觉：提供相关背景有助于最大限度地降低模型产生错误或不一致信息的可能性。

利用向量数据库实施 RAG 通常包括：

1. 在向量数据库中建立知识库索引
2. 对于每个用户查询：
   
   • 生成查询的向量嵌入
   • 使用向量数据库检索相关信息
   • 将这些信息作为上下文与用户的查询一起提供给 LLM
3. 然后，LLM 根据其预先训练的知识和检索到的上下文生成响应

向量数据库在 RAG 模式中发挥着至关重要的作用，它能够快速、准确地检索相关信息，这对于保持大多数应用中预期的实时性能至关重要。
通过利用这些先进技术，企业可以创建更智能、更准确、更能感知上下文的人工智能应用，进一步扩展其向量数据库实施的功能。

在实施向量数据库时，您可以选择开源或商业数据库。 两种解决方案都没有优劣之分，只是针对您的业务需求不同而已。

以下是建立和配置自己的向量数据库的基本步骤。

在选择向量数据库模型之前，您需要确定您的最终目标。 您是在尝试训练机器学习模型，还是需要更有效地组织数据集？

适合使用向量数据库的业务包括处理复杂数据、使用人工智能或处理不断变化的数据点。

第一步是确定哪种模式适合您的业务需求。 一些向量数据库模型具有直观的界面，对开发人员非常友好。 其他系统则在过滤和索引方面提供更广泛的支持。 花点时间检查您计划使用的数据库的细节——小细节决定业务运营的成败。

选择要使用的向量数据库后，请对每个版本多做一些研究。 由于这些数据库非常灵活，因此每个版本都有不同的版本，以更好地满足您的需求。

选择好向量数据库和版本后，就可以进行配置了。您的数据库将随附一套安装和数据传输说明。您可以根据自己的需要修改数据库，例如选择自己喜欢的索引解决方案。

完成数据库安装和数据传输后，您需要对其进行查询。 通过该功能，您可以在数据库中找到相似向量，从而更高效地使用程序。根据您选择的数据库，这一步可以自动完成，也可以手动完成。

试错是充分利用新数据库解决方案的关键。一旦一切准备就绪并开始运行，就对向量数据库进行监控，看看哪些在起作用（哪些不起作用）。在这个过程中，您会了解到许多有趣的细节。您可能会发现，要处理接收的大量数据，您需要进行更多的扩展。您可能会发现，某些查询方法并不能提供您所需的额外洞察力。

您的向量数据库能力取决于您的远见卓识。只要您保持开放的心态，一心一意谋发展，您的企业就会从这次转换中受益。

最新研究表明 全球向量数据库市场预计到 2028 年将超过 40 亿美元。从医疗保健到娱乐行业，先进数据库技术的前景都无比光明。

Vector 数据库技术使我们比以往任何时候都更容易掌握大量数据并获得有用的见解。企业不必再通过手动筛选图片、视频和文本来了解目标受众的需求。 这些数据库系统的自动化和灵活性使企业能够腾出时间，专注于日常业务运营需求。

至少有 57% 的企业积极依靠机器学习来改善客户体验。虽然机器学习只是众多案例应用中的一种，但它却是一个重要角色。总之，向量数据库在未来数据管理中的作用只会继续增长。希望扩大规模并保持竞争力的企业需要从数据管理中分担一些工作。在 InterSystems，我们随时准备帮助您实施向量数据库技术，以帮助您迎头赶上。

注意，使用案例的数量正在爆炸性增长，因此具备灵活性非常重要。

正如我们所看到的，向量数据库的应用正在各行各业迅速扩展。使用案例的激增突出了企业的一个关键点：在选择向量数据库解决方案时，灵活性至关重要。

数据管理和人工智能的快速发展要求解决方案能够适应新出现的需求和机遇。需要考虑的灵活性的主要方面包括：

1. 可扩展性，可处理不断增长的数据量
2. 与现有和未来系统的互操作性
3. 针对特定用例的定制功能
4. 支持各种数据类型和查询方法
5. 适应新的人工智能模式和技术

通过优先考虑灵活性，您不仅能解决当前的挑战，还能使您的数据基础设施面向未来。灵活的解决方案使您的组织能够快速转向，尝试新的应用，并在日益数据化的世界中保持竞争力。

在 InterSystems，我们深知灵活的向量数据库解决方案的重要性。我们的技术旨在体现这些原则，提供一个强大、可扩展和适应性强的平台，可根据您的需求不断发展。

从机器学习模型到高效的相似性搜索，总有一款数据库解决方案适合您的业务发展。在 InterSystems，我们为各行各业的企业提供了无障碍利用这些工具的手段。

向量数据库提供了更高效的数据收集、存储和检索方法。与更注重准确性的传统数据库不同，向量搜索能提供有价值的洞察力。您将获得有关情感、相似性甚至安全问题的令人信服的新细节。

我们帮助了一位老客户 Les Voies Navigables de France，为其陆基信息系统创建了一个更可靠的数据中心。对于另一位老客户 Mondial Tissus，我们在利用数据改善客户体验方面的专业知识使其受益匪浅。无论您的最终目标是什么，我们都能为您提供有效的数据库解决方案。

我们的解决方案涵盖健康和生命科学、数字制造、采矿作业和供应链等行业。 如果您想知道向量搜索如何帮助您的企业扩大规模， 来联系我们吧。

我们随时准备帮助您的业务模式享受向量数据、大型语言模型等带来的好处。