更“亲和”的鲲鹏BoostKit 2.0,做好“开发者的开发者”


    数据与算力驱动着计算产业的创新与突破。鲲鹏计算,以远超越预期的飞速发展印证了这一点。在多样性计算时代,鲲鹏计算通过开放全栈能力,加速产业创新,使能极简开发,极致性能,携手用户、开发者和伙伴共建鲲鹏计算产业生态。
    9月25日,在华为全联接2021上,鲲鹏应用使能套件BoostKit(以下简称“鲲鹏BoostKit”)正式升级为2.0,提供四大类“数据亲和”加速组件,包括数据就近计算、数据加速传输、数据并行化处理、全生命周期数据安全等,对数据全处理流程进行负载优化,从而大幅提升应用性能。
    数据亲和,“近水楼台先得月”
    今天,我们可能无需再解释什么是“数据驱动”。数据从采集、处理、存储到应用和深入挖掘,其全生命周期对于推动企业业务发展的重要性毋庸置疑。IDC曾预测,到2025年,全球数据总量将达到163ZB。身处数据海洋的包围,企业能否“近水楼台先得月”,将数据的价值充分激发和释放出来?
    事物的发展趋势总是波浪式前进,或者说螺旋式上升。在数据大集中时代,所有分散的数据都被尽可能地集中到总部的数据中心进行统一处理,这是出于处理效率、安全性以及可控的考虑。那时的数据大多是静止的,或者移动缓慢,相对来说,集中处置和管理比较高效且容易。
    然而,随着云计算、大数据、人工智能等技术的快速进步,尤其是近几年来,边缘计算、IoT、5G等技术的兴起,原来“二八开”的数据存储(80%的数据集中存储在数据中心内部,20%的数据在数据中心之外),现在几乎颠倒过来了,大量的数据产生、存储、计算和分析都在数据中心之外。数据在哪里产生,计算就在哪里进行,已经不再是一种奢求。
    数据就近计算、分析,数据可以被更容易、更快速地传输,数据安全能够得到更有效的保障,数据价值得以无限放大……数据亲和,意味着数据与应用间更紧密的绑定,这是趋势,也是计算创新的新思路和新途径。
    数据亲和加速组件,鲲鹏BoostKit 2.0
    为适应客户对多样性算力,以及应用创新的需求,鲲鹏计算成为了“数据亲和”的实践者和推动者。
    作为鲲鹏应用使能套件,鲲鹏BoostKit部署在鲲鹏硬件(如服务器)环境之上,为上层应用提供全栈优化的能力,释放倍级性能优势。在升级为鲲鹏BoostKit 2.0之前,主要聚焦在八大典型场景的应用使能(大数据、分布式存储、数据库、虚拟化、ARM原生、Web/CDN、NFV和HPC);如今,鲲鹏BoostKit基于“数据亲和”原则,为应用提供更极致的性能优化、安全保障。
    计算的核心是对数据的处理。传统架构单纯地把数据搬移到计算侧进行处理。随着数据量的爆发式增长,数据读取和等待变得更加冗长,70%的算力消耗在数据传输上,而计算的时延和性能成为严重的瓶颈。突破上述诸多瓶颈,基于数据所在位置和数据类型等特点,匹配最合适的计算方式,提升计算效率成为鲲鹏计算努力的方向。鲲鹏BoostKit 2.0,让数据与软硬件之间的亲和性进一步增强了。
    以大数据OmniRuntime加速组件为例,通过OmniData、OmniCache、OmniJit、OmniOperator等多个模块能力,针对数据接入、传输、计算全周期开展性能优化,在大数据场景下,可将分析场景的性能提升30%以上。其中OmniData就是基于数据就近计算的理念,利用存储端富余算力完成大部分计算,从而大幅减少数据读取和网络传输,实现总体计算效率的提升。
    
    传统方案下,计算只能在中心侧的节点中进行,数据先要从边缘侧的存储传输到中心侧,海量的数据搬迁导致计算效率低下和算力浪费。而在OmniData方案下,通过将包含操作、运算规则的算子卸载到边缘侧的存储,让计算在数据本地进行,大大降低了数据搬迁量,从而消除了网络传输瓶颈,计算效率实现大幅度提升。在特定的典型场景下,OmniData甚至能将数据搬迁量从8亿行数据库记录减少到80万行,只是原来数据量的千分之一。
    
    OmniData方案与传统方案对比
    再以BoostKit 2.0的分布式存储加速组件为例,通过构建全局的高性能读写缓存池,缩短了IO处理路径,减少了IO处理进程。一方面,实现数据的加速传输,另一方面,释放了客户端的算力,从而实现分布式存储场景下IOPS 10倍级提升,IO时延降低90%。
    
    全局缓存方案与原生Ceph方案对比
    用好鲲鹏,鲲鹏BoostKit深入行业应用
    鲲鹏BoostKit为使能应用极致性能而生,从性能优化、效率提升、安全稳定运行到应用创新,鲲鹏BoostKit全方位助力千行百业从“用上鲲鹏”到“用好鲲鹏”。
    在运营商行业,联通(广东)产业互联网有限公司基于鲲鹏自主研发天玑安全平台,提供高效的在线等保密评、立体防御体系、智能预警处置等服务。鲲鹏BoostKit将等保测评的响应时间缩短了50%,安全日志的数据吞吐能力提升30%,助力客户筑牢网络安全防线。
    在金融行业,中金金融认证中心有限公司打造了基于鲲鹏的安全一体机解决方案。鲲鹏BootsKit KAE加速引擎将加密性能提升10倍以上,为接入机构与银行核心系统之间提供安全对接,大大提升金融机构之间连接的安全等级和交易性能。
    在医疗行业,中山大学第一附属医院依托鲲鹏全栈平台开展精准医学尖端科研。鲲鹏多核架构、高内存带宽等特点,大幅提升了平台的并行计算性能,尤其适合基因测序等精准医学的计算需求。基于鲲鹏BoostKit实现全栈优化后,生物信息分析软件性能提升20%以上。此外平台实现了全栈国产化,能够确保基因信息和科研成果的安全。
    在交通行业,南方航空打造了基于鲲鹏的航空运行管理平台 - 南航E家平台。通过鲲鹏BoostKit全栈优化将平台的差旅吞吐量提升1倍,加快了航空出行各个环节的沟通效率,有力保障航空运行,提升旅客出行体验,以及企业办公能力和效率的同时,保障了信息安全,成为智慧民航运行的新标杆。
    与开发者肩并肩,使能全产业伙伴创新
    俗话说,火车跑得快,全靠车头带。鲲鹏计算使能行业应用创新,需要一个动力满满的引擎。鲲鹏BoostKit当之无愧。对于各行各业的开发者来说,他们需要先进的计算架构,但更需要一个趁手的应用使能工具,能够快捷、高效地实现性能的极致优化、安全的使命必达。依据产品能力和作用的定位,鲲鹏BoostKit毫无疑问要做开发者的“开发者”,它所具有的软硬件协同的“亲和力”,将有力地促进行业用户的业务创新。
    鲲鹏计算从正式起航到现在,仅有两年时间,但是因其创新的视角、对多样性计算的良好支撑,以及全栈的技术优化能力,赢得了越来越多用户的青睐。鲲鹏硬件、开源开放的数据库(openGauss)和操作系统(openEuler)、鲲鹏开发套件DevKit,以及鲲鹏应用使能套件BoostKit,构成了完整、开放的鲲鹏计算技术栈,支持多场景应用开发,使能全产业伙伴创新,这既是处于数字化转型关键时期的客户所急需,也符合未来计算发展的趋势。