企业信息化如何处理大数据时代的小数据
如今,CIO们都已经接受了“大数据”的概念,另一个概念也逐渐受到关注:小数据。
这两者看似是相对立的两端,但是这不完全正确。小数据往往指数据量;而大数据当然也包含了数据量,但是也包含了多样性,时效性,特定的技术或者其他概念。
Kirk Borne,是美国乔治梅森大学的天体物理学和计算机科学的教授, 他认为这两者的区别是很重要的。Borne有关大数据的课程专注于大数据的属性和先进的分析技术, 而这些也几乎总是可以应用于小数据。但是后者却可以使学生进行实验,磨练他们在数据分析上的技能。而大数据则会快速把他们淹没。
随着CIO们斟酌着“多少数据是太多的数据”这个问题时,小数据在企业界因为类似的原因为自己树立名声。 Borne,前美国航空航天局员工,还曾为哈勃太空望远镜团队工作10年,在接受TechTarget专访时讨论了有关什么是小数据,以及它和大数据概念如何相互融合。
问:您最近会在一些会议上讨论小数据和大数据的对比。让我们先从定义开始:什么是大数据,什么是小数据?
Kirk Borne:定义小数据相对容易点,因为它基本上就是你能在笔记本电脑上完成的数据。大数据 – 则更复杂。我现在正在推广这样一个定义:大数据就是一切能够被量化和被追踪的。关于这一点,我的意思是我们现在几乎对于一切都在进行测量和量化 – 通过社交媒体,智能高速公路,智能城市,移动医疗,电子医疗记录,监控摄像头无处不在,这也涉及到大数据所带来的隐私问题。所有可以被测量的一切,我们都在进行测量。而我们不仅只是进行一次测量,我们还跟踪它如何随时间而变化。
问:为什么大数据如此难以定义?
Borne:你肯定看过瞎子摸象的动画片。每个人对于它是什么都有不同的定义,因为有人摸到的是腿,有人摸到的是鼻子,有人摸到的是尾巴。对于‘大象’,每个人都有不同的描述和定义。这就是我们的难处。人们希望大数据是一个概念,但是这是行不通的。
问:就职于Actuate公司的Allen Bonde曾经说过,小数据适合人使用,而大数据适合机器使用。这一区别定义合理吗?
Borne:是的。这是一种概括的说法。小数据,是你学习时使用的数据。关于学习,我指的是两件事情:第一,教育概念里的学习。所以,当我教授课程时,我一直使用小数据,我从来没有使用过大容量意义上的大数据,因为如果这样,学生们就会花费一整个学期学习如何移动数据,而没有时间学习任何运算方法。第二,当你在一个企业内,你想知道使用哪些合适的数据能够,追踪客户,或者向客户提供推荐,或者知道客户的偏好。或者说,有一个网络安全分析问题,你需要检测出漏洞或黑客攻击。所以,你进行这些实验,找出你所需要测量的数据 – 这就是小数据。
一旦你学会了这一模型……那么你使用它,在机器上运行完整的数据流。机器,本质上,使用你通过小数据得出的模型或者技能,在大数据流上进行运算。所以,小数据适合人使用,而大数据适合机器使用。
问:可视化技术在小数据与大数据的讨论中如何起到作用?
Borne:让我给你举个例子。当你第一次使用谷歌地图或者其他任何地图服务时,你会先看到一个世界地图。你没有真正获得任何数据;你只是看到了地球的图片。当你不断放大到一个特定的地点,它只提供给你这个特定地点的信息。当你不断放大,你将获得越来越高分辨率的数据。当你放大到分辨率最大可能值时,你就能看到自家的后院。这只不过是大数据的一个子集。是的,这一部分是‘小数据’,但是你真正所作的是,建立了一个分级数据结构,使你能够一层一层的放大。你可以左右移动,在同样分辨率下看到其他房子或者小区。可视化的强大就在这里。当你键入这个分级数据结构的某一特定数据时,可以说,你只是看到了冰山一角。 但是当你想移动到另一边时,你就可以获得同样分辨率数据集下的其他特定数据。你仍然可以访问整个数据集。
如果是小数据,你只是下载了一张地图,比如你自己城市的一个高分辨率地图,然后在地图上进行数据分析。