五大步骤助你有效提高数据质量
机房360 发表于:13年06月07日 15:12 [转载] 比特网
我们需要的是一种实用的方法针对不同的数据质量,创建一套有组织的计划,进而解决需要确保和维持全部数据的高质量水平的挑战。除了学习商业赞助商和数据质量投资开发商的商业案例(而且这些案例他们都拥有其知识产权)之外,如下,我们将为您列出五大关键任务和程序,以帮助您的企业有效的进行数据质量管理,进而加强改进工作。
文档数据的质量要求和质量测量的规则定义。在大多数情况下,数据的质量水平是与企业业务用户使用数据信息的目的相关的。开始收集数据时的要求包括:业务用户要对于商业目标有充分的理解,同时要征求他们对于数据可用性的期望。这些信息,结合有关数据质量对业务影响问题的共同的经历,可以转化为测量数据质量的关键维度规则。例如在不同的系统中,数据值格式的一致性,数据的完整性和新鲜度,及其与定义源记录的一致性。作为这一进程的一部分,需要建立一个中央系统记录相关的要求和规则,以支持数据验证机制的发展。
评估新数据以创建一个质量基线。可重复过程的统计数据质量评估通过检查新创建的数据在数据源系统中潜在的异常,有助于增强质量测量规则。统计和数据分析工具,可以扫描跨数据集的值、列和关系,使用频率和关联分析评估数据值、格式和完整性,并找出可能显示错误的异常值。此外,分析工具可以向数据质量管理人员反馈有关的信息,如数据类型、关系型数据库的结构和数据库中的主键和外键之间的关系。调查结果可以与企业的业务用户共享,以帮助制定验证下游数据质量的规则。
实现语义元数据管理流程。随着数据源的数量和种类的增加,企业需要相应的限制不同部门的最终用户由于曲解常见商业术语的含义和数据概念所带来的风险。集中管理与业务有关的元数据,并积极协调业务用户和数据管理从业人员建立企业标准,以减少在哪些由于解释不一致所导致的合作数据的使用问题。
在持续的基础上检查数据的有效性。按照您企业所制定的数据质量规则,针对验证数据记录开发自动服务。战略的实施使规则和验证机制能够跨应用程序共享,并在企业的不同位置部署信息流的连续数据的质量检查和测量。其结果可以被送入各种报告方案——例如,直接通知和警报发送给数据管理员以解决急性异常和高优先级数据缺陷;而有聚集指标的数据质量仪表板和记分卡发给更广泛的受众。
始终保持对数据质量问题的高度重视。开发一个平台进行数据质量事故的记录、追踪和管理。单纯测量您的数据质量规则不会带来您企业数据管理状况的改善,除非您的企业还有标准的评估流程并消除数据错误的根源。事件管理系统可以实现流程自动化,如发出报告和提醒有关各方优先处理数据质量问题,进行数据质量改进任务分配和跟踪整治进度和处理力度。
得当的处理上述这五大任务能够帮助您的权益形成积极的数据质量保证和管理架构。建立起相应的控制,规则和流程,可以使您的企业在相关数据缺陷对企业骨干业务的造成负面影响之前,迅速识别并处理。最后,明确数据错误和不一致之处,并确保其根源是对其进行处理,以便能够更广泛和更有效地利用数据,进而为您企业的业务增加利益。