IDC报告发布，这份报告中究竟藏着哪些乾坤？

    11月3日，《IDC MarketScape： 中国大数据管理平台厂商评估，2020》报告新鲜出炉，这如同中国大数据技术创新与市场竞争格局的晴雨表，从中可以一窥在2020年这样一个特殊的年份，中国大数据市场的发展与变化。
    没有悬念的是，华为云延续了自2017年以来在IDC MarketScape中国大数据管理平台厂商评估报告中的优势地位，在最新的2020年报告中仍旧位居领导者象限的领先位置，并且在“市场份额和技术实力”两大维度上保持领先。
    
    这份大数据报告中究竟藏着哪些乾坤？让我们逐一解读……
    大数据市场格局的变与不变
    众所周知，报告主要对活跃在中国市场上的主流大数据厂商从能力、战略、市场份额三个维度进行全面评估。Y轴体现的是一个厂商的综合能力，集中表现在企业的产品基本功能、市场表现、团队技术实力、产品生态等方面；X轴则反应了厂商战略信息，包括产品战略、业务战略等；象限中那些五颜六色的气泡则直观地体现了各厂商在大数据市场的份额。
    如此一来，整个IDC MarketScape报告各个象限的含义，以及各厂商的位置就一目了然了。相比往年比较分散的市场格局，进入2020年报告的所有厂商都密集分布在“领导者（Leaders）”和“主要玩家（Major Players）”这两个象限中，而且彼此之间的距离非常接近。这说明，各厂商在大数据产品上都下了大力气，整体技术水平和创新能力提升较快，市场竞争也越来越激烈。
    进入报告的厂商，包括AWS、阿里云、Cloudera、华为云、腾讯云（按字母顺序，不分先后）等为代表的厂商在报告中处于靠前的位置，引领着整个大数据市场的持续发展。强者恒强，在2020年的报告中，华为云进一步巩固了原有的领先地位，是无可争议的行业领头羊。但是我们也注意到了今年报告的差异之处，比如，以Cloudera和Kyligence为代表的专业大数据厂商跃升速度很快，比如Kyligence今年首次入榜便一举进入“主要玩家”象限。这说明在大数据领域，技术和理念创新始终是市场和企业前进最大的动力。
    能力、战略、市场
    升维思考，降维做事
    在报告中，IDC着重谈及了这样一项深刻洞察：在当前的大数据市场上，技术创新的速度领先于市场需求的速度。具体而言，技术提供商在理念和产品上不断推陈出新，而行业用户仍旧在应用分析如何入门的门槛上挣扎。因此造成技术提供能力与用户需求之间、用户内部业务部门与IT 部门之间都存在脱节，甚至面临技术鸿沟。在这样的背景下，一方面需要理清大数据落地的现状、挑战，为行业用户实现数字化转型提供参考；另一方面，行业用户在选择大数据技术和解决方案供应商时则要更加慎重，兼具领先的技术创新能力和丰富行业实践的供应商才是理想之选。华为云FusionInsight之所以能够稳居IDC MarketScape中国大数据管理平台厂商评估报告的领导者象限并引领大数据发展，就是因为具备了这种能力和积淀。
    我们就沿用IDC报告的评估标准，从能力、战略、市场三个维度为华为大数据的综合实力画个像吧。
    首先看技术和产品能力。华为云FusionInsight智能数据湖围绕数据采、存、算、管、用全生命周期管理，是华为云三大使能之数据使能方案的坚实数据底座，其主要包含MRS大数据、DWS数据仓库、数据湖治理中心等云服务，助力政企客户实现一企一湖、一城一湖！
    在强大技术能力的支撑下，华为云FusionInsight具备3项硬核能力：
    1、让政企客户在一个大、快、融、稳的数据湖架构下可持续演进：
         1） 大：传统大数据单集群扩容到2000节点就受限，难以突破。华为云FusionInsight MRS支持2万＋大规模单集群，突破扩展性瓶颈！同时还可实现集群联邦，无限扩容，让政企客户在一个架构下持续演进，无需全新重构。大规模特性已在华为内部实践。华为集团IT OneData一万节点大集群历经两次滚动升级，业务0中断，已稳定运行六年，华为云FusionInsight使客户的业务系统稳如磐石，10年无忧！
         2） 快：传统大数据存在分析链路长，以T＋1事后报表为主。华为云FusionInsight MRS 可以T＋0实时增量更新和OLAP分析，让大数据越用越”快“！
         3） 融：传统大数据分析面临门槛高、协同难等问题。华为云FusionInsight MRS通过HetuEngine打破地域限制，实现统一SQL，全民BI，让大数据越用越”容易“！
         4） 稳：传统大数据运维面临集群多、升级难等问题。华为云FusionInsight MRS可在线滚动升级，无需拆集群、搬应用，业务永不停，技术永最新，服务永在线，让客户业务系统稳如磐石！
         5） 实时数据湖：传统数据湖虽可存储多样化数据，但仍缺少一些关键能力，比如不支持实时增量更新，不支持事务，无法实时OLAP等。华为云FusionInsight支持数据实时批量入湖、实时增量同步，全量数据供应效率实现T＋0；支持贴源数据实时多维分析，缩短分析链路，走向实时数据湖，让数据价值近在眼前！
         6） 云原生数据湖：具有统一的元数据目录和存算分离等特性。通过统一数据湖目录，让大数据全局可视；通过存算分离，采用企业级EC，最低1．2副本，使TCO降低20％＋，让大数据越用越”省“！通过高带宽大并发，同成本集群的数据读写性能领先业界30％；通过AI容器提升了在科学计算、机器学习和AI推理的资源利用率。
    2、DWS数据仓库：基于分布式架构持续演进，构筑下一代开放的、全场景分析型数据库，其核心能力如下：
         1）大规模扩展性：基于分布式架构，突破大规模分布式场景下集群通信（Multi－Streams）、逻辑集群（Multi－Groups）技术，具备2048节点扩展能力；
         2）极致性能：具备多层级全并行计算引擎，可调度海量的算力资源，通过高效的指令效率，实现数据导入快、分析快；
         3）稳定可靠：具备硬件和软件的多层级备份、全方位的故障检测，实现数据无忧，业务持续可用最后，离线扩容、半在线扩容、在线扩容技术能够从容应对客户不同的扩容需求。
    3、数据治理：一站式数据湖治理中心，助力企业快速构建从数据接入到数据分析的E2E数据治理体系，消除数据孤岛，统一数据标准，加速数据资产化和企业的数字化转型。
         1）通过全域数据视图统一信息架构，统一数据标准，数据指标，实现数据分层，数据建模；
         2）通过一站式全栈平台实现30＋异构数据源的高效数据集成，SQL＆Spark＆MR等多种数据开发，无需编码极简数据开放，一键导入导出完整数据模型实现数据资产的快速复制；
         3）拥有开放完备的安全体系，数据分级分类，统一安全认证。
    截至目前，华为云FusionInsight持续投入，拥有10年＋丰富经验的大数据内核团队，已获取专利500＋，具有30＋PMC＆Committer大数据专家，与世界同行，做好数字世界的黑土地。同时坚定开放路线，为开发者、客户和伙伴开放了CarbonData 和openLooKeng。华为云FusionInsight坚持将好的经验，持续在华为云大数据社区上为伙伴和客户开放，共建社区繁荣生态！可见华为云大数据勇攀技术高峰的决心！
    其次看市场地位。从每一笔订单的签订到每一个项目的落地，再到每一位客户的成功，华为云大数据就是在这样一点一滴的积累中逐步扩大着市场领先优势。
    IDC的统计数据显示，2020年，中国大数据技术与服务市场收益前三的行业是金融、政府和运营商，三者总和占中国大数据整体市场的50％以上；同样具有海量数据的互联网、视频直播、跨境电商等客户，也逐渐认可并采购华为云大数据相关产品。华为云大数据落地成功也集中体现在这些领域。举例来说，在金融行业，中国50％的TOP20金融客户均已使用华为云FusionInsight构建其大数据平台，在某行构建金融数据湖，实现一份数据全局可用，免除数据搬迁，提升业务协同效率10倍，存储周期提升2倍，资源利用率最大可达90％，同时利用大数据＋AI实现了金融行业的实时风控功能，从事前风控转变为事中拦截风险交易，已挽回损失数亿元；在政府行业，华为云FusionInsight承载了国内70％的平安城市建设，50％的智慧城市、数字城市建设。由于今年突发疫情，华为云FusionInsight结合行业积累经验，仅用20＋天实现全国陆续上线疫情防控大数据平台，上线后在某市，从3000万人口中秒级找到疑似人群，高效的支撑了全国新冠肺炎疫情防控工作；在运营商行业，中国三大运营商均使用华为云FusionInsight构建数据平台，广东移动基于华为云FusionInsight，联合政企客户共同打造智慧电网、智慧交通、智慧港口、高清视频等系列标杆应用，打通数据全生命周期链路，实现对内业务支撑、对外应用赋能，全面支撑了各类政务、民生等大数据应用服务。同时，华为坚持“自己的降落伞自己先跳”，华为集团IT通过FusionInsight构建OneData大数据集群，实现大数据平台在大规模场景下的开拓，OneData集群其规模已至1万＋节点；同时，实现了统一的数据管理服务，在菩提海UniDB产品中，通过逻辑统一方式，把50＋物理分散的计算集群（Hadoop＋MPP），基于五统一（数据安全，元数据目录，数据集成，数据访问，任务调度），整合成湖仓一体的架构，支撑上千个企业租户的PB级数据分析处理需求。华为集团IT OneData大集群历经两次滚动升级，业务0中断，已稳定运行六年。从上面案例可知，华为云FusionInsight将是政企客户的标准底座，可实现一企一湖、一城一湖，一站式支撑多场景高效分析。
    截至2020 年10月底，华为云FusionInsight智能数据湖已服务60＋个国家和地区、3000＋客户，覆盖政府、金融、运营商、电力、传媒、医疗、教育、交通、油气、物流、零售、制造、互联网等诸多行业，助力客户以数据驱动业务增长和商业成功，使政企客户可基于华为云FusionInsight实现“一企一湖，一城一湖”！
    华为云FusionInsight的产品功能、创新能力、实践成果、生态体系建设得到了市场层面的充分肯定：华为云FusionInsight MRS把“复杂”留给自己，把“简单”留给伙伴，共建社区繁荣生态，联合800＋ISV，共创共赢，助力政企数字化转型成功！2020年，华为云FusionInsight除过在本次稳居IDC MarketScape中国大数据管理平台领导者象限，其市场份额和技术实力双领先，华为云FusionInsight还连续四年入围中国大数据企业50强，并荣获中国信息通信大数据行业影响力奖、中国大数据平台类最佳解决方案奖……
    最后再来谈谈战略。华为云FusionInsight自2009年开始投入研究，并于2014年开始推出商用化产品，坚持技术创新，并始终秉承开源开放的理念，践行“平台＋生态”战略，携手800＋合作伙伴，为政企客户提供“懂行”的大数据解决方案。所谓懂行，一方面要不断深入理解客户不断发展的业务诉求，另一方面，要持续技术创新并引领行业发展，商业诉求＋技术创新双轮驱动行业可持续、高质量发展，“用数”助力客户商业成功！上面的论述已经充分证明，华为是“懂行”的大数据专家。
    进入智能数据时代，随着大数据技术更加成熟，以及5G、AI、IoT技术的规模化商用，政企客户在商业诉求与技术创新的双轮驱动下，不断深化数字化转型，并向智能化升级。企业构建技术领先的大数据平台，应该选择具有竞争力的数据底座。数据的增长是无限的，小集群总会成长为大集群，一个技术领先、可平滑升级、可持续演进的数据底座非常重要。华为云FusionInsight智能数据湖的愿景就是打造技术领先的大数据底座，助力客户实现一企一湖一城一湖！
    大数据市场拐点将现
    IDC预测，中国大数据市场规模将在2020年达到104．2亿美元。大数据市场已经热了多年，市场快速演进、技术持续升级、客户需求不断升温，再加上利好政策的刺激，新的市场拐点可能会很快出现。
    2020《政府工作报告》中明确提出要“推进要素市场化配置改革”，以及“培育技术和数据市场，激活各类要素潜能”。数据作为新的市场要素，其重要性和价值得到进一步彰显。大数据将在企业从数字化转型到智能化升级的转变中发挥不可替代的作用，而建设大数据平台依然是行业用户的“刚需”，并在新基建、十四五等战略中持续构筑数据坚实底座，助力政企数字化转型。IDC预测，2019－2024年，数据的复合增长率将保持在26％，呈几何级数增长的数据量将给数据的存储、管理和分析带来更大的压力和全新的挑战。这一方面要求在大数据技术上不断寻求新的突破和创新，包括湖仓一体、实时数据湖、交互式分析等将成为新的热点；另一方面，在商业模式上，企业也需要不断调整、扩展业务边界，加强生态合作，增强企业与外部间的数据交互，这对数据集成、开发、实时入湖分析等将产生积极的促进作用。
    谈到未来大数据应用的发展趋势，IDC概括了两点：一是主流厂商都在积极拓展大数据解决方案，强化数据治理能力，建立数据服务能力，进一步降低数据分析的复杂性；二是数据管理平台要进一步简化和统一，在数据库、数仓、大数据平台、数据湖等混合环境中，简化数据管理、提高用数效率是首要任务。到2020年，大数据技术创新趋势的焦点已转向LakeHouse、企业创新焦点已转向湖仓一体，让大数据与数仓互联互通、协同计算，兼顾过去与未来！从华为云的技术创新和行业实践来看，这两方面的考虑都已经在落地和不断推进之中。