数智融合,亚马逊云科技给你打个样儿
企业智能从哪里来?当然是数据!
大数据与人工智能就像秤杆离不开秤砣,两者之间相互支撑、深度融合、协同发展,共同推动着企业的数智化转型。
数智融合 重塑数据洞察
人工智能浪潮的又一次兴起,在很大程度上得益于大数据技术与产业的飞速发展。大数据为人工智能应用提供了大规模、高质量、多源化和异构的数据支撑。显而易见,有价值的数据越多,人工智能的预测、分析和判断就越准确。正是因为有了有质有量的大数据,人工智能才有了今天质的飞跃,能够更快速地进入到生产生活的各个方面。
今天,无论是从技术层面还是商业应用层面,大数据与人工智能都有进一步融合的趋势。人们也更习惯用“数智融合”来描述大数据与人工智能之间的关系。在这一趋势下,统一的数据分析与人工智能平台成了企业用户关注的焦点,具备了更强学习能力的大数据平台,可以更好地支持各类AI应用,并不断拓展AI的应用范围。
亚马逊云科技大中华区产品部总经理 陈晓建
“企业若想重塑数据洞察,一定要将数据(大数据技术)与智能(机器学习技术)进行融合和统一。”亚马逊云科技大中华区产品部总经理陈晓建如是说。
从客户的应用需求来分析,越来越多的企业在组织架构层面,将原来分散在各个部门的机器学习实践进行整合,并与大数据项目进行统一协调和资源配置,实现效率最大化;在人员能力培养方面,那些已经掌握了大数据技术的实践者,迫切需要学习和掌握机器学习技术,并将其应用到大数据具体的项目中,反过来,机器学习从业者也要具备大数据的处理能力,这样才能更好、更便捷地完成模型所需的数据准备和加工工作;从项目实施层面看,如果仅依靠传统的大数据技术,将无法全方位提供充足的数据见解,而必须将机器学习的模型作为能力补充,越来越多的数据项目融合了大数据与机器学习两者的能力就是最有力的证明;在工具支撑层面,面向大数据技术和机器学习构建统一的开发平台和技术基础是大势所趋。
总之,数智融合将更加高效地围绕数据构建和实施项目,使得数据在两者之间无缝流转,快速推动企业的数智化转型迈上新台阶。
数与智如何才能双剑合璧?
既然数智融合是必然,那么如何才能高效、无缝地实现两者的融合,助力企业的业务发展与创新呢?亚马逊云科技认为,实现数据分析与机器学习的融合必须解决以下三个问题。
首先,数据与机器学习不能各自为政,不能让数据及技术孤岛成为制约敏捷迭代的障碍。
其次,大幅提升数据的处理能力。举例来说,在生产制造领域,机器学习可以帮助客户对产品售后维修需求进行预测,由被动响应变为主动规划。但由于不具备足够强大的大数据处理能力,即使在模型开发成功后,也不能有效收集处理海量的运营数据,致使预测不准确,无法达到预期的业务目标。
最后,增加分析人员的参与度。现实中我们经常遇到的情况是,模型在实验环节效果良好,但在实际使用中表现却差强人意。因为实验环境只是对真实环境的简单模拟,而生产环境则要复杂得多,所以需要分析人员通过更多的实践积累经验,不断优化。
冲破上述障碍,“企业应在云中打造统一的数据基础底座,实现大数据与机器学习的双剑合璧,”亚马逊云科技提出了解决之道。
陈晓建表示,实现数智融合,首先要建立统一融合的治理底座,包含数据质量、数据权限、数据开发、数据工作流、可视化等功能;其次,大数据与机器学习之间应该实现高效而充分的双向互动,互为支撑、互为因果,形成正向循环。
从技术的层面看,支撑数智融合的底座至少要具备以下三大核心能力:第一,统一数据共享,即让数据资产化,从而打破数据孤岛;第二,统一权限管控,只有具备了完善的权限控制能力,才能放心地让数据在不同的业务系统之间流转;第三,统一开发及流程编排,这就要融合端到端的大数据和机器学习任务,以提升整体的开发效率。
亚马逊云科技是数智融合的倡导者与积极实践者。多年以来,亚马逊云科技一直致力于构建云中统一的数据治理底座,消除数据及技能孤岛,帮助企业客户实现大数据与机器学习的数据共享、数据权限的统一管控,以及两者统一的开发和流程编排。云中统一的数据治理底座,不仅能极大地促进大数据和机器学习的高效融合,还能有效减少大数据和机器学习重复构建的工作,显著降低成本。
举例来说,Amazon Lake Formation不断推出新的功能,支持数据网格跨部门的数据资产共享,以及基于单元格的最细粒度的权限控制机制。另外,Amazon SageMaker Studio能够帮助客户一站式地完成数据开发、模型开发以及相关的生产任务。该服务基于多种专门构建的服务,包括交互式查询服务Amazon Athena、云上大数据平台Amazon Elastic MapReduce(Amazon EMR)、云数据仓库服务Amazon Redshift、Amazon SageMaker等,为大数据和机器学习提供了高效统一的开发平台。
亚马逊云科技大中华区产品部技术专家团队总监王晓野介绍说,亚马逊云科技提供了多种灵活可扩展、专门构建的大数据服务,帮助客户进行复杂的数据加工及处理,以应对数据规模的动态变化、优化数据质量。比如,Amazon Athena能够支持多种类型的大数据平台,对来自Amazon EMR、高性能关系数据库Amazon Aurora、NoSQL数据库服务Amazon DynamoDB、Amazon Redshift等多种数据源的数据进行联邦查询,快速完成机器学习建模的数据加工。再比如,以Amazon Redshift、Amazon Managed Streaming for Apache Kafka(Amazon MSK)和 Amazon EMR为代表的无服务器分析能力,让客户无需配置、扩展或管理底层基础设施,即可轻松处理任何规模的数据量,为机器学习项目提供兼具性能和成本效益的特征数据准备。
授人以鱼,不如授人以渔。亚马逊云科技不仅持续不断提供更加智能化的数据分析服务,而且全力赋能企业的业务人员进行智能分析、模型效果验证以及自主式创新。举例来说,在日常分析工具中集成的机器学习模型预测能力,就包括深度集成机器学习Amazon SageMaker模型预测能力的Amazon QuickSight、在分析结果中添加基于模型预测的Amazon Athena ML,这些可以帮助用户使用熟悉的技术,甚至通过自然语言来使用机器学习,大大提升效率并降低使用的门槛。此外,亚马逊云科技还提供如Amazon Redshift ML、可视数据准备工具Amazon Glue DataBrew、零代码化的机器学习模型工具 Amazon SageMaker Canvas等服务,让业务人员可以自己轻松地探索机器学习建模。
精诚合作 赋能数智转型
经过多年积累,亚马逊云科技在数智融合方面拥有大量成功的实践。比如,亚马逊云科技联手其合作伙伴Convertlab,帮助某世界500强零售行业头部企业实现了基于AI决策的创新,将业务上线周期从原来的12个月缩短至3个月,实际产出从13个场景增加到32个场景,电子渠道GMV比例从最初的2.95%提升到6.34%,并且大幅降低了成本,促进了业务转型。
Convertlab联合创始人兼CTO 李征
Convertlab联合创始人兼CTO李征介绍说:“利用亚马逊云科技智能湖仓架构,Convertlab构建了统一融合的数据治理底座,形成了从数据管理、算法决策到执行的完整闭环,帮助客户更好地挖掘数据价值,实现个性化的智能营销,极大地增强了市场竞争力。”
Convertlab与亚马逊云科技走到一起,最根本的原因还是客户需求。Convertlab主要为客户提供营销的科技赋能,助力其数字化转型。Convertlab的很多客户一直在使用亚马逊云科技的产品。有的客户就提出,亚马逊云科技有很多新科技和新能力,Convertlab能不能在做营销赋能的过程中,更好地利用亚马逊云科技的技术,比如说通过亚马逊云科技的云平台实现弹性伸缩,让成本更低,或者通过Amazon SageMaker提升整个云服务的效率等。“最初与亚马逊云科技的合作,我们并不是主动的,是客户希望我们从技术的角度,与云服务商一起想更多办法,实现营销赋能。”李征介绍说,“通过一系列具体的实践与合作,我们发现双方的合作有很大空间,能够让更多客户获益。因此,我们与亚马逊云科技在技术、业务和市场等多个维度开展了更加广泛且深入的合作。”
基于深层次的合作,Convertlab与亚马逊云科技共同打造了数据智能营销解决方案,形成数据驱动的营销闭环。在解决方案的底层,基于亚马逊云科技的智能湖仓架构统一管理数据,构建了融合的数据治理底座,帮助数据专家快速调用数据,进行模型训练和推理并获得结果,从而大幅提升了用户全生命周期各阶段数据应用的效率,同时降低了数据融合成本;在中间层,同样基于亚马逊云科技的智能湖仓架构,构建了一体化客户数据管理平台Data Hub、高效机器学习应用决策平台AI Hub,两大平台相互支撑与协作,完成了基于业务场景的用户画像,可以快速支撑营销策略;在上层构建了个性化推荐、购买率预测、因果分析等一系列的营销智能解决方案,赋能客户精细化运营能力,实现快速决策,提升客户体验。
“在与亚马逊云科技合作的过程中,我们感觉非常顺畅舒服。因为亚马逊云科技的基本原则是帮助整个生态和企业成长得更好。”李征举例说,“亚马逊云科技会主动与我们讨论,如何通过引入一些新的技术,或对架构进行改造,帮助客户节省成本。这是非常难能可贵的。很多时候,亚马逊云科技的底层平台技术专家会与我们共创,比如拓展Amazon EMR、Amazon SageMaker的使用场景,帮助我们更快地掌握和利用好这些技术,增强我们自己的产品和解决方案。”
未来,Convertlab将与亚马逊云科技继续深入合作,扩充基于Amazon SageMaker的AI解决方案,并扩展到更多的应用场景中,帮助更多客户加速实现智慧营销。