“智能湖仓”架构如何让初创企业做到全球领先？

    凭借灵活扩展、专门构建、数据融合、深度智能、开源开放等特点,亚马逊云科技“智能湖仓”架构能够帮助企业快速挖掘数据价值,成为数据驱动型组织,就算是初创企业也不例外。
    一家令人刮目相看的初创企业
    一家初出茅庐的创业公司,是否能够在短短几年成为全球领先的人工智能平台企业?
    回答是肯定的。作为一家创建于2017年8月的初创企业,启元世界(北京)信息技术服务有限公司(以下简称“启元世界”)就是这样的一家公司。
    虽然创建只有短短几年时间,但是启元世界却拥有深度学习、强化学习、大数据、推荐算法等自主研发的核心技术、产品和丰富的行业应用经验,能够以SaaS的形式为国内多家知名的FPS/MOBA大型DAU游戏,为其提供虚拟玩家陪玩、游戏商品推荐、关卡数值设计、游戏内容生成等基于平台产品的人工智能和数据分析解决方案。目前启元世界已经获得了高榕资本、莉莉丝游戏等资本累计过亿元的多轮融资,成为一家全球领先的人工智能平台公司。
    “公司目前的业务主要有两个方面。一个是游戏商品推荐服务,就是根据游戏玩家的特征和偏好,通过采集、分析和定义玩家行为,了解玩家的个人特征、行为偏好、内容分享、互动反馈等,理解和得出用户特征和偏好,从而向其推荐感兴趣的信息和商品。”启元世界CTO龙海涛向趣味科技介绍道,“第二个是游戏AI虚拟玩家服务。我们的游戏AI虚拟玩家SaaS服务目前处于业内绝对领先水平,利用深度学习、强化学习、模仿学习等算法,可实现不同难度、不同风格的智能队友和智能对手,以及不同性格、行为高度拟人的非玩家角色,能够以相对较低的成本为游戏和电竞厂商提供玩家补位、人机对战、数值测试等人工智能体解决方案,对游戏的流量缺口进行填补,迅速提升游戏热度,匹配速度和游戏体验,提高游戏留存。”
    业务高速发展带来的痛点
    龙海涛向趣味科技透露,在公司创立早期,启元世界使用的还是传统的IDC数据中心和私有云。为了保障公司业务的快速稳定发展,启元世界选择了亚马逊云科技全栈的数据分析服务来进行高效的开发部署。
    “当时考虑与亚马逊云科技合作,主要是考虑到两个方面的因素。第一是我们业务的全球化,之前我们在IDC中自建集群,但自建集群无法在全球进行快速部署,不管是成本、部署还是运维响应时间都是非常高的,无法支撑我们的业务。但是和亚马逊云科技合作之后这个问题就不存在了,放眼全球,目前云基础设施在全球化做得最好的就是亚马逊云科技。”龙海涛表示,“第二就是运维成本,我们公司只有一名专职的运维人员,因为我们不希望在运维方面耗费大量的时间精力,这就需要一个成熟、稳定、安全、易用、免运维的大数据托管服务。”
    “亚马逊云科技推出的‘智能湖仓’架构,覆盖全球的基础设施,行业领先的技术能力,丰富而安全易用的托管服务,很好地满足了我们的需求,有力地支持了公司业务的高速发展。”龙海涛表示。
    
    “智能湖仓”架构的五大特点
    亚马逊云科技大中华区云服务产品部总经理顾凡表示,亚马逊云科技“智能湖仓”架构涵盖数据源、数据摄取层、存储层、目录层、数据处理层和消费层六层架构,将亚马逊云科技全面而深入的数据服务无缝集成,打通了数据湖和数据仓库之间数据移动和访问,并且进一步实现了数据在数据湖、数据仓库,以及在数据查询、数据分析、机器学习等各类专门构建的服务之间按需移动,从而形成统一且连续的整体,满足客户各种实际业务场景下的不同需求,能够帮助客户轻松应对海量业务数据,充分挖掘数据价值。亚马逊云科技“智能湖仓”架构具有以下五个特点:
    一、灵活扩展,安全可靠。亚马逊云科技“智能湖仓”架构用Amazon S3作为数据湖的存储基础,可达到99．999999999%(11个9)的数据持久性,并且具有强大的安全性、合规性和审计功能,客户可根据不断变化的需求,灵活扩展或缩减存储资源。
    二、专门构建,极致性能。为了满足客户不同的数据分析需求,亚马逊云科技提供全面而深入的、专门构建的数据分析服务,包括交互式查询服务Amazon Athena、云上大数据平台Amazon EMR、日志分析服务Amazon Elasticsearch Service、Amazon Kinesis、云数据仓库Amazon Redshift等,为客户提供了极致性能。其中Amazon Redshift的性价比是其他企业云数据仓库的三倍,AQUA(分布式硬件加速缓存)使Redshift查询的运行速度比其他其他云数据仓库最高快10倍;Amazon EMR运行大数据处理及分析服务的成本不到传统本地解决方案的一半,但其速度比标准Apache Spark快3倍以上。
    三、数据融合,统一治理。亚马逊云科技“智能湖仓”架构打通了数据湖、数据仓库,将数据湖、数据仓库以及所有其它数据服务组成统一且连续的整体,降低了数据融合与数据共享时统一安全管控和数据治理的难度。
    四、敏捷分析,深度智能。亚马逊云科技将数据、数据分析服务与机器学习服务无缝集成,为客户提供更智能的服务。
    五、拥抱开源,开放共赢。亚马逊云科技“智能湖仓”架构中的关键组件如Amazon EMR、Amazon Elasticserach Service、Amazon MSK的核心都基于开源代码,接口与开源完全兼容,无需改变任何代码即可实现迁移,同时兼容主流的管理工具。OpenSearch基于开放的Apache2．0 授权,代码完全开放,用户可以免费下载使用并获得企业级的功能。这使得用户在转型过程中能够以非常低的改造成本向云端迁移。
    
    在全球知名企业增长咨询公司沙利文中国联合头豹研究院发布的《2020年中国数据管理解决方案市场报告》中,针对成长指数(功能成长)、创新指数(能力创新)、基本指数(基本数据分析能力)三大维度,对竞争主体旗下数据管理解决方案竞争力进行了评估。亚马逊云科技不仅综合实力排名第一,而且三项指数均名列第一,被评为中国数据管理解决方案领导者。
    
    立竿见影的业务提升效果
    在与亚马逊云科技合作之后,启元世界在各项业务的处理上都取得了非常可喜的提升,效果可以说是立竿见影。
    一、在流数据处理方面,启元世界使用Amazon Kinesis,使得流数据处理系统部署时间从过去的天级缩短到了现在的分钟级,并能够轻松承载百万QPS。
    二、在批处理方面,启元世界使用Amazon EMR和亚马逊云科技托管的Apache Airflow之后,批处理运行的时间减少了80%,在不改变采用开源组件开发体验的前提下,运营总成本下降了50%,能够承载的查询数量与复杂度上升了数倍。
    三、在即席查询方面,启元世界使用亚马逊云科技的Glue/Athena/QuickSight,使得业务人员可以实现自助式的查询而无需再麻烦数据开发部门,显著提升了运营工作效率,秒级响应各种数据查询及分析请求,数据报表生成加快一倍。
    “举个例子来说,凭借亚马逊云科技覆盖全球的基础设施,丰富而安全易用的托管服务,我们能够非常快速地把基础设施都搭建起来。整套服务在云端部署完成只用了三天时间。”龙海涛表示,“另外让我印象深刻的是,亚马逊云科技团队提供的支持非常给力。我们业务上线,包括做一些服务测试,技术方案的沟通,亚马逊云科技都会派资深的工程师过来,帮助我们一起排查问题,设计方案,各方面的服务都非常到位。”
    “我们未来的规划是,在游戏的全lifecycle打造产品矩阵,用领先的AI和数据分析能力,帮助游戏快速上线,改善游戏体验,提升客户留存,获得更大成功。”谈到未来与亚马逊云科技的合作规划时,龙海涛表示,“依托亚马逊云科技对人工智能、机器学习服务组件的深度融合能力,相信能为我们全生命周期的产品矩阵理念的快速落地,规模发展提供最有力的支持。”
    
    值得一提的是,为了分享“云时代的构建故事与重塑经验”,亚马逊云科技即将携手众多业内领先的技术践行者,在上海、北京、深圳三地举办2021亚马逊云科技中国峰会。相信在这场行业大咖云集的业界顶尖峰会上,我们还将看到更多像启元世界这样的企业案例。