大模型风起云涌，向量数据库终有“用武之地”？

    每逢淘金热，最后的赢家都是卖铲人，而非淘金者。在近两年的大模型风口下，向量数据库就成了这把铲子。
    随着大模型快速发展，向量数据库正在成为企业便捷使用大模型、最大化发挥数据价值的关键工具。据IDC调查数据显示，全球在AI技术和服务上的支出2023年将达到1540亿美元，到2026年将超过3000亿美元。其中，向量数据库为AI的开发、增强内容生成的准确性提供了重要技术支撑。 
    在今年数据库领域所有的技术趋势中，向量数据库无疑成为了最受资本热捧的一个。随着5月份大模型厂商掀起一轮又一轮价格战，接连调低大模型API的价格，高性价比的大模型+向量数据库，在行业应用、企业市场又显现出了商业价值。
    为什么向量数据库会随着大模型的发展而爆发？它又将给AI行业带来怎样的机会？
    
    大模型的必经之路
    首先，我们需要厘清向量数据库在大模型当中扮演了什么角色。
    大模型解决的是计算问题，而向量数据库则解决存储问题。这是从2023年初向量数据库崛起开始，至今为止行业内公认的看法。
    人们常常把大语言模型比喻成大脑，但这是一个被切除了颞叶的大脑，缺乏记忆，并且常常出现幻觉。为了解决这些问题，常常需要借助向量数据库。
    现实生活中两人进行对话，大致需要三步流程：一方首先抛出话题作引子；另一方会先调动记忆判断自己是否了解这个话题，然后再分析给出应该做出何种回答。如此循环往复直到互动结束。
    为让计算机完成这样的互动过程，并持续在一对一或一对多的情况下变成日常，AI科学家提出了CVP结构，即“ChatGPT（以ChatGPT为代表的大模型）+Vector Database（向量数据库）+Prompt（提示词）”，分别承担计算机分析、记忆、引子的功能。
    放到大模型上，针对其有可能出现的幻觉问题，可以将所需领域的专业知识存入向量数据库，当要prompt时，系统自动的从向量数据库中根据相似度查找最相关的专业知识，把这些知识和你的提示词一同提交给大模型，这样就可以有效减少幻觉的出现。记忆的问题也类似，可以选择把部分你和大模型的聊天记录存入向量数据库。这是向量数据库近期出现热度的原因。
    向量数据库和传统数据库的不同点之一是，传统的数据库只能处理计算机容易了解和处理的数据、字符串等结构化数据，通过点查和范围查进行精确匹配，输出只有符合查询条件和不符合条件的答案，而向量数据库处理的是各种AI应用产生的非结构化数据，通过近似查进行模糊匹配，输出的是概率上的提供相对最符合条件的答案，而非精确的标准答案。
    以OpenAI背后的GPT模型预训练所用的数据为例，GPT-3.5的“知识库”共包含3000亿单词的数据，汇聚了来自开源语料库、维基百科、各类图书与新闻报道、Reddit与Twitter平台文章等大量互联网文本数据。GPT-4在此基础上体量更大，且为了支持多模态专门收集各类图像、视频素材，这其中非结构化数据应占有极大比重。
    正如冰山效应所喻示的“巨大的冰山往往是八分之一浮在水面上，八分之七沉没在水面之下”，真实世界中绝约80%的数据都为非结构化数据，只有约20%的数据是结构化数据。非结构化数据结构复杂且难处理，反而导致有效利用率远低于结构化数据。因此，打造面向非结构化数据的向量数据库也变成了一场从0到1的拓荒。
    近年来，一些数据库厂商已经开始原生支持向量嵌入和向量搜索的功能，并提供了相应的向量索引和查询优化技术。这使得开发人员能够更方便地在数据库中存储和查询向量数据，而无需依赖额外的工具或库。
    除了大语言模型的推动外，向量数据库在自身技术上也取得了重大突破，特别是在性能优化、数据处理能力和安全性方面。各数据库厂商和研究机构都在致力于改进向量数据库的算法和架构，以提高其处理大规模数据的能力。
    ChatGPT的爆发彻底改变了向量数据库的发展速度。2023年3月，在英伟达全球开发者大会上，CEO黄仁勋力挺向量数据库对构建专有大型语言模型的重要价值，“向量数据库的一个新型重要用例是大型语言模型，在文本生成过程中可用于检索领域特定事实或专有事实。英伟达将推出一个新的库，即RAFT，用于加速索引、数据加载和近邻检索。我们正在将RAFT的加速引入到Meta的AI向量相似性搜索FAISS、Milvus开源向量数据库以及Redis。”他如是说。
    在资本市场，近一年来向量数据库是当之无愧的“资本宠儿”，Qdrant、Chroma、Weaviate先后获得融资，成立短短几年的Pinecone宣布1亿美元B轮融资，估值达到7.5亿美元。可见，无论从技术演进还是资本市场来看，向量数据库都是这两年最亮眼的技术。
    向量数据库的商业化探索
    在大模型兴起之前，传统数据库已经在不断尝试与AI结合，主要涉及以下几个方向：AI for DB、DB for AI、预测估算。随着大模型的兴起，可以看到在这些方向上，数据库与AI间的关联比以往任何时候都要密切。
    在“AI for DB”方面，将AI技术嵌入到传统数据库中，使其具备更智能的功能。例如，通过大模型，数据库可以实现更高级的数据分析、智能搜索和推荐等功能。AI技术的应用使得数据库能够更好地理解和处理数据，提供更精确的查询结果和分析报告。
    对于“DB for AI”方面，传统数据库可以为大模型提供结构化数据和非结构化数据高效的存储和查询能力。由于大模型通常需要处理大规模的数据，传统数据库的可伸缩性和性能变得尤为重要。数据库可以通过融合查询和差异化存储等技术，提供快速的数据访问和处理能力，满足大模型对数据的高效需求。
    此外，大模型的兴起还为数据库注入了预测估算的能力。大模型可以通过学习历史数据和模式，对未来的趋势和结果进行预测和估算。传统数据库可以集成模型，实现对数据的预测分析。这使得数据库可以不仅提供对历史数据的查询和分析，还能够提供对未来数据的预测和估算结果，帮助用户做出更准确的决策。
    事实上，不仅是大模型厂商，云计算厂商凭借在AI基础设施、商业生态、市场规模效应方面的已有优势，也开始聚焦向量数据库市场进行各种技术和商业化尝试，这些尝试或许会让向量数据库加速走向商业成功。
    首先，多元化部署能力。垂直行业大模型，数据都是私有机密的，客户一般不愿意放到公有云上，这对一部分支持混合多云的云厂商是一大利好，通过私有部署、分布式、混合云等多种方案，打消行业客户将数据放到云端的现实疑虑。
    其次，一体化AI能力。向量数据库的火爆，本质是由AI驱动的，而AI Native时代的数据工程，还有许多复杂问题尚待解决，比如检索效率，在处理大规模数据的并行任务时，保持快速响应时间是一个挑战，需要优化索引结构和搜索算法；高负载下的系统稳定性，需要确保数据库系统具备高可用性和容错能力，防止服务中断；存储海量的向量数据，成本效益比要进一步优化……目前来看，云厂商具备从底层算力集群、Maas模型平台到全栈工具链的AI能力，有望通过技术协同创新，持续优化向量数据库的性能和成本。
    第三，产业服务能力。各行业对AI与业务的结合热情高涨，但大多还处于尝试探索期，需要结合自身场景、AI应用、IT设施等多种因素试错并迭代。这个过程中，随叫随到、帮助客户及时解决问题的ToB服务能力，也是非常看重的。深耕产业的公有云，有望降低很多企业在AI技术革命中的机会成本。
    从某种程度上而言，无论是向量数据库，还是大模型，归根结底，人们在追捧它时的心态，焦虑大于需求。而这种焦虑则来源于“害怕被落下”。
    而向量数据库的热潮，在一定程度上外化了人们的焦虑。但这并不能否定向量数据库的实际价值，甚至更长远的价值。
    虽然，目前向量数据库仍处于发展初期，但可以确定的是，向量数据库与大模型一定是捆绑关系。因此，未来其演进方向也一定随着大模型能力的演进而发生变化。
    不可否认的是，向量数据库的未来有星辰大海，也有曲折的前路。背靠大模型，向量数据库成为资本追捧的“宠儿”。然而，在未来的AGI时代，向量数据库还有更多实事要干。
    【科技云报道原创】
    转载请注明“科技云报道”并附本文链接