企业信息化如何处理大数据时代的小数据

企业信息化如何处理大数据时代的小数据

如今，CIO们都已经接受了“大数据”的概念，另一个概念也逐渐受到关注：小数据。

这两者看似是相对立的两端，但是这不完全正确。小数据往往指数据量;而大数据当然也包含了数据量，但是也包含了多样性，时效性，特定的技术或者其他概念。

Kirk Borne，是美国乔治梅森大学的天体物理学和计算机科学的教授， 他认为这两者的区别是很重要的。Borne有关大数据的课程专注于大数据的属性和先进的分析技术， 而这些也几乎总是可以应用于小数据。但是后者却可以使学生进行实验，磨练他们在数据分析上的技能。而大数据则会快速把他们淹没。

随着CIO们斟酌着“多少数据是太多的数据”这个问题时，小数据在企业界因为类似的原因为自己树立名声。 Borne，前美国航空航天局员工，还曾为哈勃太空望远镜团队工作10年，在接受TechTarget专访时讨论了有关什么是小数据，以及它和大数据概念如何相互融合。

问：您最近会在一些会议上讨论小数据和大数据的对比。让我们先从定义开始：什么是大数据，什么是小数据?

Kirk Borne：定义小数据相对容易点，因为它基本上就是你能在笔记本电脑上完成的数据。大数据 – 则更复杂。我现在正在推广这样一个定义：大数据就是一切能够被量化和被追踪的。关于这一点，我的意思是我们现在几乎对于一切都在进行测量和量化 – 通过社交媒体，智能高速公路，智能城市，移动医疗，电子医疗记录，监控摄像头无处不在，这也涉及到大数据所带来的隐私问题。所有可以被测量的一切，我们都在进行测量。而我们不仅只是进行一次测量，我们还跟踪它如何随时间而变化。

问：为什么大数据如此难以定义?

Borne：你肯定看过瞎子摸象的动画片。每个人对于它是什么都有不同的定义，因为有人摸到的是腿，有人摸到的是鼻子，有人摸到的是尾巴。对于‘大象’，每个人都有不同的描述和定义。这就是我们的难处。人们希望大数据是一个概念，但是这是行不通的。

问：就职于Actuate公司的Allen Bonde曾经说过，小数据适合人使用，而大数据适合机器使用。这一区别定义合理吗?

Borne：是的。这是一种概括的说法。小数据，是你学习时使用的数据。关于学习，我指的是两件事情：第一，教育概念里的学习。所以，当我教授课程时，我一直使用小数据，我从来没有使用过大容量意义上的大数据，因为如果这样，学生们就会花费一整个学期学习如何移动数据，而没有时间学习任何运算方法。第二，当你在一个企业内，你想知道使用哪些合适的数据能够，追踪客户，或者向客户提供推荐，或者知道客户的偏好。或者说，有一个网络安全分析问题，你需要检测出漏洞或黑客攻击。所以，你进行这些实验，找出你所需要测量的数据 - 这就是小数据。

一旦你学会了这一模型......那么你使用它，在机器上运行完整的数据流。机器，本质上，使用你通过小数据得出的模型或者技能，在大数据流上进行运算。所以，小数据适合人使用，而大数据适合机器使用。

问：可视化技术在小数据与大数据的讨论中如何起到作用?

Borne：让我给你举个例子。当你第一次使用谷歌地图或者其他任何地图服务时，你会先看到一个世界地图。你没有真正获得任何数据;你只是看到了地球的图片。当你不断放大到一个特定的地点，它只提供给你这个特定地点的信息。当你不断放大，你将获得越来越高分辨率的数据。当你放大到分辨率最大可能值时，你就能看到自家的后院。这只不过是大数据的一个子集。是的，这一部分是‘小数据’，但是你真正所作的是，建立了一个分级数据结构，使你能够一层一层的放大。你可以左右移动，在同样分辨率下看到其他房子或者小区。可视化的强大就在这里。当你键入这个分级数据结构的某一特定数据时，可以说，你只是看到了冰山一角。 但是当你想移动到另一边时，你就可以获得同样分辨率数据集下的其他特定数据。你仍然可以访问整个数据集。

如果是小数据，你只是下载了一张地图，比如你自己城市的一个高分辨率地图，然后在地图上进行数据分析。