2019年,Gartner将增强型分析(augmented analytics)确定为2019年数据与分析技术十大趋势之一。什么是增强型分析?会为企业数据分析带来什么变化、为数据分析市场带来什么影响呢?
什么是增强型分析?
首先,增强型分析是Gartner提出来的新的概念名词。Gartner给出的定义中指出,增强型分析是数据与分析市场内的下一波颠覆性技术,它利用机器学习(ML)与人工智能改变分析内容的管理、开发与分享方式。
简单来说,增强型分析是在用智能化、自动化的能力帮助人做数据分析,增强型分析降低了做数据分析的技术门槛,并提高了分析的深度。
Gartner研究总监孙鑫介绍说:“通常,在进行数据分析之前,企业需要对数据进行抽取、清洗、融合等准备工作,以提高数据分析的效率和准确性。这个过程大概占用整个分析过程80%的时间。而增强型分析能为这一过程提供帮助,使普通用户也能运用有效数据进行分析。在分析建模与数据准备阶段,系统就可以推荐一些算法来帮助用户完成数据集的准备和模型训练的过程。”
在具体介绍增强型分析如何降低数据分析门槛时,孙鑫介绍说:“以前专业人员需要用专业晦涩的语句与业务交流来进行数据准备的各种操作,而现在用‘拖拉拽’的方式业务即可操作。未来,用户甚至可以用自然语言来操作——用户可以像跟人对话一样说出需求,然后系统给出所需的数据甚至分析结果,这让数据分析的门槛降到了‘无限低’,所得出的结果具有深度并减少了偏见。”
增强型分析给企业带来的变化
Gartner调查数据显示,2009年,企业内有24%的人用过数据分析;而2019年,企业内有35%的人在使用数据分析技术。增强型分析的出现可以让企业里有更多人用到数据分析技术。
孙鑫认为,所有人都有权利从数据中获取真知灼见,或是利用数据作出更好的决策。“如果每个人都能根据数据做决策的话,数据将更容易变现,企业的决定将更有据可循,企业则会更加成功。”
增强型分析带来的变化非常显著。从上图可见,增强型分析在赋能数据分析人员——数据分析人员可以把控的事情变得更多。以前可能需要IT技术人员提供的支持,现在数据分析人员自己就能按具体需求操作。
增强型分析能帮助用户实现数据的快速准备,推荐可能有用的数据和算法。通过自动建立模型,增强型分析可以帮助用户将模型放置到场景中,进行管理模型和分享模型,最后可以通过自动的业务发现能力,为用户带来以自然语言或自动可视化的形式展现的、不带偏见的业务真相。
从业务流程的角度来看,在连接数据、分析数据或者建模都需IT技术人员来操作的情况下,业务人员会不断向IT人员提出需求,且这些需求反复多样、需要的数据也各不相同,因而中间的审批流程会非常影响效率。从实际业务角度来看,业务人员需要将需求传递给IT人员,传递的过程中经常会出现偏差,因此最终得到的数据和分析结果可能跟实际需求相距甚远。
如果业务人员也能以自服务的形式,直接获取数据并用数据做分析的话,上述流程问题和业务需求传递的问题也就将不复存在。现代化商业智能工具开启这一工作模式的改变,增强型分析将加速这一进程。
另外,由于增强型分析完全是机器智能行为,因此相对于依靠人工手段进行的数据准备操作或是对分析结果进行解读,企业将可以避免个人偏见影响数据客观性这一情况的出现。
那么,这是否意味着数据分析人员可以做的事儿少了,或者说没事可做了呢?
孙鑫指出:“增强型分析可以替代或帮助数据分析人员做一些事情,让部分不会专业数据分析技术的员工用上数据分析;而原来的数据分析人员、数据科学家可以做更多高级工作、更多地参与到企业决策中,找出更多更合适、更重要的算法和技术。”
对于企业而言,以前采购一套数据分析平台基本由IT人员进行,而现在则更多地面向业务人员,包括产品人员和销售管理人员。可以说所有人都能从数据分析中获益。
增强型分析将进一步激发数据分析市场
Gartner将数据分析和商业智能市场分为三大类,包括基于语义层的平台(semantic layer-based platforms),基于视觉的数据发现平台(visual-based data discovery platforms),还有增强型分析平台(augmented analytics platforms)。
其中,基于语义层的平台所分析的都是已知数据。已知数据包括固定的、嵌入式、约定俗成的日报、月报。而基于视觉的数据发现平台则是用图形、图表的形式去展现数据背后的洞察,它所用到的数据既有已知数据,也有存在于数据湖当中的未被利用的数据。增强型分析平台主要的场景是让未知的数据发挥价值,帮助人们在探索中发现未知事项。
孙鑫认为,未来两到五年,增强型分析将会成为市场的主导趋势。如果平台不具备增强型分析能力的话,相关企业很可能会失去市场竞争力。从市场角度来看,到2020年,增强型分析会成为分析和商业智能解决方案的一大卖点,国内外有许多企业正在布局这一市场。
数据分析和商业智能市场上,传统基于语义层的平台当中有IBM的Cognos、微软的SSAS/SSRS、Oracle的OBIEE;基于视觉的数据发现平台有Qlik、Tableau、TIBCO的Spotfire;增强型分析部分既有原来前两类,也有新兴的数据分析企业,从Gartner的这张图表来看,增强型分析平台领域的参与者数量最多。
从图表中可见,IBM的Cognos既在传统基于语义层的平台当中,也在增强型分析当中。事实上,增强型分析并不是一项全新的替代性技术,首先它对IT架构没有任何影响——可以嵌入到原有方案,也可以是独立的平台,因此其只是在原来的分析方案基础上再嵌入一种能力。
孙鑫表示:“增强型分析并不会取代传统的BI,因为BI的用途范围较广,比如传统的BI还是需要做许多固定的报表。而在一定程度上,用户可以将增强型分析看作是增强型的BI,因为增强型分析可以在提供分析结果的同时给出一些解释,告知用户为什么能得到这样的结果,而不是单纯地停留在一些简单的描述型分析上。”
Gartner对于增强型分析的前景非常乐观。其认为,到2020年,增强型分析将成为企业新采购分析及商业智能、数据科学和机器学习平台以及嵌入式分析的主要驱动因素。数据与分析领导者应在平台功能逐渐成熟时采用增强型分析。
结语
在笔者看来,增强型分析无疑是用人工智能的技术降低数据分析的使用门槛,为更多人打开了数据分析的大门,有普惠的性质。从用户数量来看,增强型分析无疑将会快速增多。随着市场需求的释放,增强型分析服务还将继续发展和完善,对数据分析市场带来巨大的激发作用。