解读美国国防部的大数据应用战略

棱镜门事件以来，NSA的全球监控行为遭到各国政府和人民的谴责，但美国情报部门所展现的大数据和信息安全技术实力也成为各国政府甚至一流IT企业为之“艳羡”的对象。

NSA为代表的美国国家安全和情报机构不但在信息安全技术上领先业界数年，而且在大数据采集、处理和分析技术上也让大数据技术厂商们“惊艳”。事实上，NSA大数据项目的规模、可扩展性、安全性在很多方面甚至超过了Google、亚马逊和苹果这样的大型互联网企业。

NSA旗下的风险投资公司In-Q-Tel迄今已经投资了200多个云计算、大数据、搜索与分析创业项目，是美国大数据创业热潮的最强力推手，因为获得In-Q-Tel的投资本身还意味着来自政府部门的订单。

毫不夸张地说，NSA才是美国大数据创业热潮背后的真正推手。

近日，前NSA工程师创建的数据库创业公司Sqrrl的首席执行官Ely Kahn在Structure Show视频节目上解读了大数据技术如何被应用于国家安全。Sqrrl公司的产品基于开源NoSQL数据库系统Accumulo，而Accumulo系统正是创办Sqrrl的工程师在NSA时开发的。

Accumulo是PRISM棱镜项目的核心

据Kahn的介绍，Accumulo数据库系统是NSA企业架构的核心。大多数NSA的关键分析应用都运行在Accumulo上。“我不能透露具体是哪些应用，但人们在新闻中看到的大多数监控和分析应用的后台都是Accumulo。”

Accumulo的性能如此强大，足以配得上对NSA大规模监控行为的各种指责。从技术角度看，NSA已经能够识别网络上的各种可疑行为和个人，但是NSA还有一个“更大的想法”，Kahn称之为“生命分析的模式”：

这些都可以归结为异常分析，也是我们目前的重点。如何建立一种模式来识别异常和正常？这需要基于对大量应用案例的分析…

我们今天的很多工作主要是围绕图谱分析（Graph Analytics）进行，建立大规模分布式的数据图谱——围绕一个具体的应用实例建立正常模式的数据图谱，然后参照这个图谱查找异常模式。

云计算大数据集中，国防部已经行动起来

NSA采用的大数据处理和分析技术也适用于整个国防部，NSA的任务是建设一个能够跨部门分享NSA资源的云计算和大数据基础设施，Accumulo就是这个计划的一部分，如今国防部希望将所有数据——从无人机视频到医疗数据，都汇聚到一个单一的大数据分析系统中。

据Kahn介绍，NSA正在进行中的一个重要项目代号“联合信息环境”（Joint Information Environment），将在建立一个庞大的云计算大数据基础设施，整合国防部的海量应用实例——从网络安全、战场情报系统到医疗实例无所不包。

你可以不喜欢NSA，但NSA已经无可争议地在科技公司中确立了信息安全和大数据技术领导者的地位。