产学融合新探索，看“鲲鹏”绘“云图”

    云计算,新一代IT基础架构;图计算,对客观世界中任何事物和事物之间的关系进行完整刻划、计算与分析的一门技术。
    “云算天下,图创未来”,在数智化时代,以云为基,以图为用,两者相得益彰。这大概也是华中科技大学的云图团队以“云图”为队名,参加第七届中国国际“互联网+”大学生创新创业大赛的深刻寓意吧。
    
    台上一分钟,台下十年功
    第七届中国国际“互联网+”大学生创新创业大赛近日在江西南昌落幕,今年新增的产业命题赛道成了瞩目的焦点,最终,华中科技大学的云图团队与华南理工大学的城联智图团队,从晋级决赛的50支队伍中脱颖而出,荣获赛道金奖。
    当华中科技大学云图团队的队长——华中科技大学服务计算技术与系统教育部重点实验室2017级博士赵进和他团队的兄弟们站在领奖台上时,参加大赛以来的多少个不眠之夜,宿舍、食堂、实验室三点一线的单调生活,从校赛到省赛再到国赛的一路拼搏,此时都化做了上扬的嘴角、释然的笑容。一切努力和付出都值了!
    伙伴们模仿现场采访场景,让赵进发表一下获奖感言,他有些腼腆的笑了,道出了整个团队的心声:“参加此次大赛的经历令我终生难忘。在读博士生的前期,我的主要精力都放在科学研究上,借这次大赛之机,能够把我们多年以来的研究内容与企业的需求相结合,有效解决了实际业务问题,让我们感觉之前所做的科研工作非常有意义。”
    从最初的校赛到省赛,再到最后的国赛,云图团队从打磨参赛作品内容、制作PPT、参加路演、答辩,整个团队投入了大量时间和精力。难怪赵进会感慨:“台上一分钟,台下十年功。”
    云图团队中的另一位骨干,负责系统软件研究的2020级博士生余辉也深有同感:“整个参赛的感觉就是时间紧、任务重。团队成员的凝聚力,来自学校老师的关怀和帮助,以及华为技术专家的支持,让我们感到团结协作的巨大能量。特别是我们的指导老师张宇副教授,凡事更是亲力亲为,每场打磨会议、每场路演排练都亲临现场,带领着团队不断地打磨和优化项目。并且有任何问题出现,都是他带领我们在第一时间想方设法解决,然后不断修改、完善。特别感谢指导张宇老师的辛苦付出!虽然最后路演的10分钟演讲是由师兄赵进一个人完成的,但他的背后,有我们整个团队的支持、努力和奉献。”
    “我们能够赢得最终的金奖,实至名归,是对这个团队最好的回报。”说这话时,余辉的语气中充满自信、自豪还有满满的感谢。
    厚积薄发 这个金奖实至名归
    你一定很想知道,云图团队此次获得的这个金奖含金量如何?中国国际“互联网+”大学生创新创业大赛是一项全球性的比赛,今年已经是第七届,参赛团队来自国内外121个国家和地区的4347所院校,报名总人数达956万。云图团队最终赢得金奖,真可谓过五关斩六将。
    再看看云图团队的这个作品,依托于华为鲲鹏底层技术所选取的“鲲鹏BoostKit大数据Spark图算法优化”命题,实现了国际上首个面向并发图分析任务的高性能图计算系统,通过高效利用鲲鹏处理器的众核架构和硬件加速单元,适配欧拉开源操作系统,将传统的图计算性能实现倍级提升。
    赵进带领的这支团队由5人组成,包括博士研究生、硕士研究生和本科生。大家分工协作,赵进主要负责整个项目的技术和框架设计,其他有的负责软件开发,有的负责工程开发,还有的负责制作和优化PPT等。这虽然是一支临时组成的团队,而且之前几乎没有参加类似比赛的经验,但这并不影响团队成员间的默契,反而更能激发其热情与才情。据赵进介绍,虽然团队成员各司其职,但所有人有一个共同点,就是此前一直都在从事与图计算相关的研究,其中最长的已有十年之久。团队在指导老师张宇副教授的带领下,已经在图计算领域取得了多项关键技术突破,研发了国际首个面向并发图分析任务系统,以及国际首个基于众核处理器的异步图计算加速器,研究水平已经达到国际领先。
    华中科技大学在图计算方面的研究到底有多厉害?就在今年8月举行的图计算领域最具影响力的国际赛事之一——2021年图计算挑战赛上,华中科技大学图计算团队获得全球冠军。这是中国首次在该赛事中获得冠军。厉害吧!这样看来,云图团队能够以其图计算作品斩获大赛金奖,是最好的传承,也是众望所归。
    “初次看到大赛产业赛道的这道命题,第一个感觉就是与我们的前期研究工作非常契合,当时就有了一种跃跃欲试的冲动,希望将自己所做的图计算基础研究工作与企业的实际需求有机结合起来。”从赵进的语气中可以感受到这种迫切的渴望,“以前,我们也与一些企业有过合作和成果落地,但这次基于华为鲲鹏平台还是首次,也想挑战一下自己。”
    作为团队的一员,正在读研究生二年级的杨赟感慨颇多:“通过这次比赛,我深深感受到产业界与学术界之间存在的明显差异。我们的校长曾经说过,‘不仅要把论文发表在顶级期刊上,还要发表在祖国的大地上’。通过这次比赛,我对‘把论文发表在祖国的大地上”这句话有了更深刻的理解和体会。我们做研究的目的,是希望推动新技术的产业化。华为的这次命题就将科学知识与行业实践进行了高度融合,让我们受益匪浅。”
    今年新增的产业赛道,旨在推动高校的智力、技术和项目资源与经济社会发展需求紧密对接。华为深度参与了产业命题赛道,总计提供了32道创新命题项目,吸引了337所高校的1205支队伍、近万名学生参与其中。另一个获得金奖的城联智图团队,就是依托华为昇腾AI技术能力选取的“使用MindSpore设计和训练图像风格迁移模型”命题,创新性地提出了一种高性能的图像风格迁移算法,并给出了有现实意义的落地应用场景。
    不管是以前潜心研究,还是如今通过大赛扬名,云图团队的初衷一直没变,那就是做一款全球领先的图计算系统,推广到中国的企业用户中,落地于多个实际的生产场景。通过鲲鹏BoostKit相关技术的支持,以及华为专业的指导,云图团队从技术理论到应用实践迈出了实质性的一步。
    没有翻不过的坎 华为的支持功不可没
    对于图计算、大规模并发处理等技术研究,赵进极其自信,其团队的研究成果属于国际首创,曾经发表过多篇顶级论文。但是在拿到赛题后,对于将图计算系统与鲲鹏、欧拉等软硬件平台进行适配,特别是运行在像华为鲲鹏众核处理器上,其实他心里也没有底。
    图计算如今已经是一项应用非常广泛的技术,是大数据处理的一种主流模式,被应用于教育、医疗、军事、金融等众多领域。现实中,很多数据都可以表达成一个图的结构,比如社交网络图、道路交通图、航班图、电网图等。“鲲鹏BoostKit大数据Spark图算法优化”这道赛题的核心,就是如何进一步提升图算法的精度,同时尽量缩短处理时间。
    “基于鲲鹏平台,现有业界的开源算法,精度只有75%时,处理时间为600秒。华为希望,在将算法精度提升到90%时,能够将处理时长控制在90秒以内。”赵进介绍说,“我们基于华为平台进行第一次测试时发现,当精度为90%时,基于通用开源算法,执行时间要3万秒。但经过我们的优化后,基于云图系统算法,在精度达到90%时,只需要13秒,效率提升2300多倍。”
    对于云图团队来说,如何在鲲鹏平台之上充分发挥众核处理器的性能和效率,这就是第一个要跨越的门槛。为了高效发挥众核处理器的作用,云图团队提出了一种新的技术路线,即以解耦合的方式处理图数据,尽量让这些核之间不互相依赖。在此原则下,他们对架构进行了一次“大手术”,使得鲲鹏处理器的计算能力得以充分释放,为接下来的图计算系统调优奠定了坚实基础。
    赵进还提到一个细节,为了进一步提升图算法的精度达到命题要求,需要处理15万个BFS的并发量,而在此之前,云图团队从来没有遇到过如此庞大的并行处理问题。如何让15万个图计算任务部署在华为提供的三台机器上,并高效运行?云图团队进行了特别的优化。2300倍效率的提升已经说明了问题。
    鲲鹏BoostKit使能套件可以帮助鲲鹏开发者及ISV合作伙伴,面向大数据、分布式存储、数据库、虚拟化、ARM原生、Web/CDN、NFV和 HPC八大典型应用场景,实现应用性能的加速。“BoostKit是鲲鹏技术能力的一个重要体现,在完成作品的过程中,它确实发挥了重要的加速作用。我们也基于它,开发出了更适合鲲鹏架构的图计算系统——云图系统,从而大幅提升了图计算系统的性能。这对于不同的通用图架构应用迁移至关重要。”赵进如是说。
    “在整个参赛的过程中,我们得到了华为专家的悉心指导。比如,我们刚拿到赛题时,对于题目所涉及的数据集、精度,以及评判标准等拿捏不准;在参赛过程中,遇到一些问题时,在鲲鹏生态中也没能找到相应的答案。这时,华为的专家不仅耐心地为我们解答、指导,而且特意组织了一次线上会议,逐一为我们演示。来自华为的支持让我们非常感谢和感动。”余辉表示。
    产学互动 齐头并进
    对于云图团队来说,整个参赛的过程,从技术的角度,没有翻不过去的坎,然而项目的商业化却是一只“拦路虎”。因为一直从事研究的云图团队的几个人,都没有过创业经验,对于如何写商业计划书、进行股权分配等几乎没有概念。这时,也是华为的专家出面,为其进行指导,理顺思路。赵进在最后答辩时才能够应对自如,闯关成功。
    “无论是在学术界还是工业界,华为的技术和产品都处于国际领先水平。”通过此次参赛与华为鲲鹏有了第一次亲密接触之后,赵进的整体感觉是,“我们开发的云图系统能够达到业界顶尖水平,也是得益于华为鲲鹏众核处理器等的支持。后续,我们将开发更多的软件系统、加速器等,希望也能部署和应用于华为鲲鹏平台之上。”
    云图团队与华为的初心相同,都想为推动中国信息技术的发展贡献自己的一份力量。在未来的学习和工作中,将更多的技术、应用部署到华为自研的软硬件平台上,也是云图团队的美好心愿。
    理想已经照进现实。