棱镜秘笈——大数据篇

雷锋网 发表于:13年07月01日 13:53 [转载] DOIT.com.cn

  • 分享:
[导读]它几乎无所不能,全天候监视所有人的行踪,聪明地预测出谁是危险分子,谁会遭遇不测……美国政府用它攻击恐怖分子,开发者则用它拯救普通人,这是美剧《疑犯追踪》里的“神器”。这真的只是一部科幻剧吗?

它几乎无所不能,全天候监视所有人的行踪,聪明地预测出谁是危险分子,谁会遭遇不测……美国政府用它攻击恐怖分子,开发者则用它拯救普通人,这是美剧《疑犯追踪》里的“神器”。这真的只是一部科幻剧吗?

美国国家安全局(NSA )在现实中运作的“棱镜系统”,时时刻刻监听和分析本土及海外的数据,其曝光则更像是一部好莱坞电影:29岁雇员斯诺登,电脑怪才,模样俊俏,为中情局服务过,在夏威夷有火辣女友陪伴,却突然人间蒸发,之后爆料引发全球哗然。

从技术角度看,棱镜是正宗的大数据武器。虽然还不如《疑犯追踪》里的机器万能,但足以让大家担心个体隐私不保。人们更害怕政府拥有大数据后,权力和能力膨胀,必然滋生腐败。但纽约时报的评论也指斯诺登缺少组织纪律,是原子化的行为,破坏了社会组织的契约精神和正常运转。

孰是孰非,何去何从?

大数据武器 数据如万川归海途经美国,山姆大叔便可架网捞鱼。它靠强大的数据通路和丰富的数据源收集大数据

曝光的资料显示,有多个项目与棱镜数据收集有关:比如从互联网骨干枢纽收集数据的布拉尼(BLARNEY)计划,从光纤网收集数据的上游(UP-STREAM )计划等。考虑到软件系统通常都是对接后集成使用,我们将其当做整体来讨论。

棱镜项目得益于这样的现实:大量数据舍弃物理意义上最直接的路线,取道美国。

美国有全球电信最骨干的网络。棱镜项目资料显示,北美跟欧洲、亚太、拉美之间的带宽远超过其他洲际带宽。相比从亚太地区直接发送数据到欧洲,经由美国中转可能更快捷实惠。

这在现实中不难找到类比:办公室同事交换电子文件时,不一定靠传递U盘这种物理距离最近的方式,可能会通过Q Q之类的即时通讯,而不会去计较这些文件绕经QQ服务器是否会被长期扫描监测。

通过扩大数据传输带宽,美国甚至可以诱导更多数据流经本国。今年5月美国租借中国卫星引起国会哗然,但他们解释目的就在于提高非洲跟美国之间的带宽。租借中国卫星可能有局部风险,但放在“棱镜”大战略下,越多数据流经美国,它能做的分析监测就更全面,其得益远超过风险。

设想数据如万川归海途经美国,山姆大叔便可架网捞鱼,坐收渔利。棱镜数据监测的原理也是如此。就像三棱镜把自然光细分成红橙黄绿蓝靛紫七色,在光纤上接入“棱镜”,可以让光纤传输的信号一览无遗,通过大数据系统进行分析挖掘。这种在光纤上窥探数据的设备,早期叫做NarusST-6400,最新版的Narus设备已经空前强大。

巧合的是,Narus官网的宣传材料里便直接使用三棱镜作为图示,表示有能力对大体量(Volume)、高速度(Velocity)、多类型(Variety)的光纤数据基于机器学习,进行网络层、语义层和用户层的数据分析。

棱镜秘笈——大数据篇

除了尽可能地操控数据通路,棱镜项目还从其他数据源激进地获得数据。其中有电信运营商数据源。《卫报》曝光联邦海外情报监听法庭(Fisa)要求美国电信运营商(Verizon)“持续每日”向N SA提交电话记录数据,包括双方号码、通话长度等,但不包括通话内容,这也就是官方所说的元数据。

[责任编辑:王雪杨]
就在上周,DOIT编辑参加了2013HDS大中华区CIO峰会,在九寨沟带来了现场报道。以下是上周DOIT云周盘
官方微信
weixin
精彩专题更多
存储风云榜”是由DOIT传媒主办的年度大型活动。回顾2014年,存储作为IT系统架构中最基础的元素,已经成为了推动信息产业发展的核心动力,存储产业的发展迈向成熟,数据经济的概念顺势而为的提出。
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
联想携ThinkServer+System+七大行业解决方案惊艳第十六届高交会
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技术有限公司 版权所有.