对已有数据分析的见解
至顶网 发表于:13年03月14日 10:00 [转载] DOIT.com.cn
Gurjeet Singht是Ayasdi的联合创始人兼CEO。在Gigaom上带来了关于当下大数据技术的看法,Singht认为:从查询开始分析数据本身就是一个死胡同,并指出了当下的大数据只完成了万里长征的第一步。
以下为译文:
许多人都会被震惊,如果他们知道研究人员只是从收集到数据中1%的数据进行分析和提取见解。而就是这1%被分析的数据支配了革新和见解,现在我们称之为“大数据”。而在每天收集的1 quintillion(百万3次方)字节的数据中,有99%的数据完全未被利用。
我们都知道使用大数据非常的有前途,然而基于当下的许多因素,数据的有效利用仍然是个瓶颈。药物研发过程中,数据的使用多于化学过程;新能源的探测中,数据的使用超过地质学;恐怖分子的追踪、预防欺骗中同样如此。
现在我们已经认识到的上述的这些问题和其它一些全局性问题,都是数据使用的瓶颈所造成的。这种情况催生了大数据上的海量投资,而数据工作同样成为了最热门的岗位 —— 数据科学家,更把私人数据分析服务提供商的估值推到数十亿美元。然而,你能想象到将分析的数据从1%提升到100%的前景吗。
对已有数据分析的见解
如果你拥有一个和人类基因一样庞大的数据集,你该如何开始?比如,奥巴马最近提倡对人类大脑进行绘制?为了突破,我们需要解决这个世界上最复杂的问题,我们需要根本上改变从数据中获取知识的途径。这里我们必须首先思考的是:
从查询开始必然是一个死胡同:查询本身并没有问题。事实上一旦你知道问什么问题,查询是至关重要的。同样这也是关键所在:从查询开始的初衷是从大量的数据中发现一个指针,然而他们并未做到。
数据是有开销的:大部分情况下,数据的储存已经不再昂贵。而且通过使用类似Hadoop或Redshift的工具,即使查询大量的数据都变得非常划算。当然,这只是从硬件的角度上讲。
见解就是金钱:我们愿意承担花销唯一理由就是数据中的见解可以释放价值。遗憾的是,我们失去了已收集数据中大部分的价值。虽然收集数据的成本可能会很高,但是无效分析带来的成本显然更高。当下并不存在什么工具可以直接从数据中提取见解,我们依赖着非常聪明的人去提出假设,然后使用我们的工具去证实 (或者是否定)这些臆测。因为依赖的是臆测,这个途径存在着天生的缺陷。
你已经拥有了足够多的数据:这里经常存在的信念就是 —— “如果我们拥有了足够多的数据,我们肯定会得到我们想要的。”太多的时间和精力被浪费在新的数据收集上,其实你可以用你手中的数据做更多的事情。举个例子,Ayasdi最近在Nature Scientific Reports公布的从12岁乳腺癌患者身上获得的新见解,就已经被深入分析了10多年之久。