多模数据库驱动下,助力AI逼近“人类智能”
镁客maker网面对新基建驱动而即将造成的数据量井喷现象,当下的数据库模式将不能够足以支撑,尤其考虑到AI正逐步落地的情况。
--全球每天生产的数据有多少?
--非常多。
依据Raconteur统计的数据,到2025年,全球每天预计有463 EB数据产生,相当于每天产出约2．1亿张DVD碟;IDC发布的《数据时代2025》报告中也预测,全球每年产生的数据从2018年的33 ZB增长到175 ZB(1 ZB=1024 EB),以25 MB/秒的网速进行下载,需要的时间为18亿年。
随着数据量的暴增,问题逐渐暴露。
数据规模大、类型多,一站式服务需求激增
截至目前,针对海量数据的处理,业内既有的数据产品多只能解决某一类问题,譬如Hive应用于结构化数据、面向数据存储的文档数据库MongDB、专注于复杂搜索需求的ElasticSearch以及图数据库Neo4J等等。与此同时,围绕多种数据类型的存储与处理需求,业内也搭建了一种混搭架构,涉及多种不同的数据库技术,以解决不同的数据问题。
只不过,我们也可以注意到,各个数据库可以说是各自为政的,这也使得客户在需要使用多种数据库产品时,需要自己重新架设一层,以解决需求被满足时所产生的附加问题,包括数据如何在不同数据库之间导进导出、数据在不同库中的一致性保持、整体运维等等。
仅从文字的描述来看,就可以知道,数据库的单一独立使用和混合使用各有优劣,前者操作简单但供给不足以满足实际应用场景的多样化需求,后者虽然能够满足客户围绕数据产生的多样化需求,但是操作不便、运维复杂等问题也是不可忽视的。
就当下而言,混合架构或许尚能够应对来自产业内的多样化数据需求,但是长久以往下去并不是一个办法,尤其是随着新基建的到来,于国内数据库的发展也带来了极大的挑战。针对这个问题,腾讯云数据库副总经理王义成指出了三点:
1、数据量出现全面井喷,如何满足相应运算与分析的实时进行?
2、业务融合多样化发出挑战,数据库是否能够接受在不同的业务中心、数据中心、基础设施之间去做相应的部署和融合?
3、老龄化逐步演进,数据库人才缺口可能更大,数据库供应商如何为用户提供多种自动化服务,以及能否为用户的多种服务需求提供自动运维服务,实现整个数据的自动化治理?
从这些挑战来看,鉴于数据库与数据库之间的不兼容,为了避免复杂操作性、实现成本有效降低等目的,一个面向数据层面的一站式服务平台显然成为一个刚需。简单来讲,在这个一站式数据服务平台或数据库中,用户希望能够以简单的操作方式调用多数据库的资源,并处理多种数据模型等等。
数据库未来趋势?提名“多模数据库”
在提及数据库在新基建背景下将面临的挑战时,他也指出了这一产品的两点趋势,一点关乎数据库分配模式,“在数据量再扩几倍的情况下,还能保持TP与AP的整体稳定性和性能,这是一个大趋势,大家也会在这个点上继续去深耕。”
第二点上,王义成则表示随着5G的到来,可能会有更多模式的数据库会出来,包括图数据库或是更为稀奇的数据模式。
“数据库的下一个模式会向多模方向发展。数据库的存储模式是不同的,但真正对于应用访问来说,或者对于应用处理来说,需要一个更加经典化、更加统一的标准接口让上层应用能够去访问。”王义成表示,“我认为,应对5G带来的应用爆发、数据爆发,多模可能是一个大的趋势点。”
多模数据库究竟是怎样的?与现有的混合架构模式而言,它的优势体现在哪里?
简单来讲,多模数据库最终体现的是一种数据模式的统一,主要形式有两种:
一种是数据存储为统一模式,可以在这一层面暴露多种协议接口类型,比如一套数据存储,可以暴露Mongo的访问模式,暴露MySQL的访问模式;
另一种则是集中存储,将不同类型的数据库存储道一个整体通用的数据平台,再用一个up层,或者用一个接口层去兼容多种协议,让所有的应用都能够更为方便的集中于自身的数据处理跟统一。
相较于混合架构而言,多模数据库在进行统一整合、将操作极简化的同时,也降低了数据在不同库之间来回迁移的成本和风险等。“多模数据库有可能是未来中长期相对比较的趋势。”王义成说到。
多模数据库驱动下,助力AI逼近“人类智能”
从前面行业内人士的讲解来看,在数据库赛道中,利好多多的多模数据库已然成为被看好的下一个趋势。当前,在多模数据库赛道中,包括腾讯在内,华为、阿里等大型云服务商也已经推出或即将推出有关产品。
在一些行业赛道中,尤其是那些传统行业,他们的数据多是分散在各个业务系统中,这也为他们的数据化、智能化变革道路中增添了难度。如果一个产品能够帮助他们更快地整合数据,并能够提供抽象化的应用接口,这必然是利好的。
用王义成的话来说,使用多模数据库的目的之一,是解决用户不同调用的使用习惯,助力用户使用。而当谈及落地,“多模数据库”于AI的智能提升而言可谓一大助力。
众所周知,AI与人类智能差距之一就是“多模态信息的智能化理解”,这其中包括视觉、声音、符号语言、嗅觉和触觉等信息。如果能够像人类利用多模态数据学习知识一样,让AI也拥有多模态数据的学习能力,AI的智能程度必然将大大获得提升。
然而,就目前而言,多模态AI还存在不少技术难点,其中就涉及到多模态数据的融合。具体来看,一个软件或算法模型的进步是较为容易的,但当多个算法叠加在一起,难度的升级将会是成倍的,尤其在面对图像、语音、触感等非文本数据时。
就这一点来看,多模数据库与AI可以看作是相辅相成的:利用AI算法,数据库将能够在现有基础上获得进一步的优化;反过来,正是因为能够调用多个数据库,以及兼具的统一性,多模数据库将能够为AI算法模型提供训练平台,以及融合数据处理平台,让AI系统的决策更为全面和智能。
作者:韩璐
