DataOps:破除智能数据管理困境,激发企业创新活力

【署名文章】DataOps:破除智能数据管理困境,激发企业创新活力_Hitachi Vantara首席产品官Radhika Krishnan70.png
本文作者:Hitachi Vantara首席产品官Radhika Krishnan

数据时代,每一家现代化企业均是数据型企业。他们不再需要更多数据,而是需要更高质量的数据,以及更智能的数据管理。

在一个万物皆可被度量的时代,数据积累的速度超过大多数企业能够跟上的速度,使得企业疲于应对海量数据带来的压力。这些数据填满了大量的存储,需要企业花费昂贵的资源进行维护。事实上,现在的企业环境平均容纳八个以上的数据湖。

这些截然不同的数据源和数据湖往往造成额外的混乱和阻挠,而非增加价值。在这种情况下,为提升数据质量,企业IT主管不仅需要对数据进行概要分析、编目和存储,还必须遵守一系列管理数据使用的法规。这意味着数据管理成为了一个人工的、缓慢的,且容易出错的过程。

· 考虑到某一部门的信息可能为其他部门带来价值,数据孤岛却妨碍部门之间共享有用的信息。

· 企业缺少对决策至关重要的数据文化和协作文化。

· 当多项计划重叠或并行开始时,企业往往会获得重复数据和来源不明的数据。如果企业无法确定数据质量,那么存储数据时便只能收获“无用输入、无用输出 (GIGO)”的效果,难以为任何类型的分析或洞察带来价值。这将阻碍业务进程,因为数据质量是影响企业业务成果的基本因素。换言之,阻碍企业业务进程的是其拥有的信息来源的不确定性。

上述低效的数据管理将导致数据浪费,且无法变现。同时,即使企业继续花费大量资金来尝试管理这些数据,也将面临极高的合规风险。Hitachi Vantara认为,部署DataOps是企业有效管理数据的明智手段。

DataOps是大势所趋

在过去几年间,DataOps(数据运营)已逐步进入主流视野,以至于许多企业正在采用或认真考虑采用敏捷的数据管理原则。

【署名文章】DataOps:破除智能数据管理困境,激发企业创新活力_Hitachi Vantara首席产品官Radhika Krishnan805.png

DataOps带来的预期业务收益

DataOps是一种方法论,而不是一套工具或产品。这一概念从精益化生产 (Lean Manufacturing)、敏捷开发 (Agile) 和开发运营 (DevOps) 的实践中汲取养分,帮助企业克服内部“官僚主义”造成的障碍和复杂性,并在不影响数据质量和数据治理的前提下,快速、敏捷地提供分析。

DataOps有助于激发企业业务的创新活力,缩短数据分析周期,并提高收益。更具体地说,它能为企业带来以下优势:

· 形成对企业数据普遍的商业理解,包括结合数据目录以及与业务利益相关者的合作,来管理和维护数据。

· 自动化数据质量、数据治理及合规性任务,来确保数据已准备好被企业所使用。

· 在组织层面上强调敏捷和自动化的数据管理,其中人员、流程和技术等专注于管理面向业务成果和目标的数据,同时确保较低的治理风险和可控的成本。

· 到目前为止,DataOps最大的价值主张便是帮助企业打破数据孤岛,使企业业务运行得更快,推动企业加速向市场交付新产品。能做到这一点的原因在于,有用的信息不再被锁定在单一部门,可以在整个企业内共享。

人工智能、机器学习和自动化

元数据是践行任何良好的DataOps方法的基础。若企业在摄取数据时使用人工智能 (AI) 和机器学习 (ML) 算法自动创建元数据,便可以显著地减少人工投入,进而加快团队对数据管道的开发和采用,以及有效分析的产出。

通过自动化元数据的端到端管理,企业便可以如期推动良好的DataOps实践。为实现这一点,企业需要借助数据集成技术来载入数据,以及通过有效的机制来对数据进行编目,并且需要对其应用规则,以建立数据血缘关系 (data lineage)。

而将数据从一种工具转移至另一种工具这样零敲碎打的做法,可能会阻碍上述操作。这就是我们建议引入AI和ML技术的原因,它们可以帮助企业更好地理解数据,并根据需要在语义上丰富数据。此外,AI和ML的集成可以帮助企业识别任何数据质量问题,同时支持向数据中添加治理规则。

数据转型

事先界定成果,并有清晰的目标是成功进行数据转型的关键。企业需要厘清数据的来源,选择最佳方式存储和管理数据,并确保自己可以利用数据快速地为终端客户创造价值。

同时,文化因素也会影响企业采用DataOps。DataOps的成功实践,取决于企业内部是否能够形成诸如一劳永逸地结束孤岛,鼓励数据团队和IT团队之间展开更多合作,端到端的设计思维以及将数据视为共享资产等文化。

【署名文章】DataOps:破除智能数据管理困境,激发企业创新活力_Hitachi Vantara首席产品官Radhika Krishnan1851.png

DataOps文化

本文探讨的这些挑战并非微不足道。当企业审查自身的数据状况时,需要认真考虑将数据真正视为可以提高业务成果的资产。如此一来,DataOps方法论和实践将帮助企业极大地优化数据治理并促进业务发展。