DataOps：破除智能数据管理困境，激发企业创新活力

2024.03.27

作者：Hitachi Vantara首席产品官Radhika Krishnan

    Hitachi Vantara首席产品官Radhika Krishnan
    数据时代，每一家现代化企业均是数据型企业。他们不再需要更多数据，而是需要更高质量的数据，以及更智能的数据管理。
    在一个万物皆可被度量的时代，数据积累的速度超过大多数企业能够跟上的速度，使得企业疲于应对海量数据带来的压力。这些数据填满了大量的存储，需要企业花费昂贵的资源进行维护。事实上，现在的企业环境平均容纳八个以上的数据湖。
    这些截然不同的数据源和数据湖往往造成额外的混乱和阻挠，而非增加价值。在这种情况下，为提升数据质量，企业IT主管不仅需要对数据进行概要分析、编目和存储，还必须遵守一系列管理数据使用的法规。这意味着数据管理成为了一个人工的、缓慢的，且容易出错的过程。
    · 考虑到某一部门的信息可能为其他部门带来价值，数据孤岛却妨碍部门之间共享有用的信息。
    · 企业缺少对决策至关重要的数据文化和协作文化。
    · 当多项计划重叠或并行开始时，企业往往会获得重复数据和来源不明的数据。如果企业无法确定数据质量，那么存储数据时便只能收获“无用输入、无用输出（GIGO）”的效果，难以为任何类型的分析或洞察带来价值。这将阻碍业务进程，因为数据质量是影响企业业务成果的基本因素。换言之，阻碍企业业务进程的是其拥有的信息来源的不确定性。
    上述低效的数据管理将导致数据浪费，且无法变现。同时，即使企业继续花费大量资金来尝试管理这些数据，也将面临极高的合规风险。Hitachi Vantara认为，部署DataOps是企业有效管理数据的明智手段。
    DataOps是大势所趋
    在过去几年间，DataOps（数据运营）已逐步进入主流视野，以至于许多企业正在采用或认真考虑采用敏捷的数据管理原则。

    DataOps带来的预期业务收益
    DataOps是一种方法论，而不是一套工具或产品。这一概念从精益化生产（Lean Manufacturing）、敏捷开发（Agile）和开发运营（DevOps）的实践中汲取养分，帮助企业克服内部“官僚主义”造成的障碍和复杂性，并在不影响数据质量和数据治理的前提下，快速、敏捷地提供分析。
    DataOps有助于激发企业业务的创新活力，缩短数据分析周期，并提高收益。更具体地说，它能为企业带来以下优势：
    · 形成对企业数据普遍的商业理解，包括结合数据目录以及与业务利益相关者的合作，来管理和维护数据。
    · 自动化数据质量、数据治理及合规性任务，来确保数据已准备好被企业所使用。
    · 在组织层面上强调敏捷和自动化的数据管理，其中人员、流程和技术等专注于管理面向业务成果和目标的数据，同时确保较低的治理风险和可控的成本。
    · 到目前为止，DataOps最大的价值主张便是帮助企业打破数据孤岛，使企业业务运行得更快，推动企业加速向市场交付新产品。能做到这一点的原因在于，有用的信息不再被锁定在单一部门，可以在整个企业内共享。
    人工智能、机器学习和自动化
    元数据是践行任何良好的DataOps方法的基础。若企业在摄取数据时使用人工智能（AI）和机器学习（ML）算法自动创建元数据，便可以显著地减少人工投入，进而加快团队对数据管道的开发和采用，以及有效分析的产出。
    通过自动化元数据的端到端管理，企业便可以如期推动良好的DataOps实践。为实现这一点，企业需要借助数据集成技术来载入数据，以及通过有效的机制来对数据进行编目，并且需要对其应用规则，以建立数据血缘关系（data lineage）。
    而将数据从一种工具转移至另一种工具这样零敲碎打的做法，可能会阻碍上述操作。这就是我们建议引入AI和ML技术的原因，它们可以帮助企业更好地理解数据，并根据需要在语义上丰富数据。此外，AI和ML的集成可以帮助企业识别任何数据质量问题，同时支持向数据中添加治理规则。
    数据转型
    事先界定成果，并有清晰的目标是成功进行数据转型的关键。企业需要厘清数据的来源，选择最佳方式存储和管理数据，并确保自己可以利用数据快速地为终端客户创造价值。
    同时，文化因素也会影响企业采用DataOps。DataOps的成功实践，取决于企业内部是否能够形成诸如一劳永逸地结束孤岛，鼓励数据团队和IT团队之间展开更多合作，端到端的设计思维以及将数据视为共享资产等文化。

DataOps文化
本文探讨的这些挑战并非微不足道。当企业审查自身的数据状况时，需要认真考虑将数据真正视为可以提高业务成果的资产。如此一来，DataOps方法论和实践将帮助企业极大地优化数据治理并促进业务发展。