NSA使用大数据做监控已经人所共知了，虽然NSA有能力从电话网络和互联网当中搜集海量数据，但是直到最近NSA都没办法真正从全部数据中截获并永久存储这些数据，不过倒是谷歌和雅虎的研究结果解决了这些问题，此外还要感谢与电话公司的合作。
本文作者基于自己的采访和各方消息的整理，论述了NSA在“大数据”存储和分析上的实际操作方法，并就互联网公司否认的向NSA提供“直接访问”一点，提出新的质疑，即类似DropBox的云端数据同步模式。
NSA面对的是怎样大规模的数据?
2006年AT&T前雇员马克?雷恩(Mark Klein)揭露了该公司帮助NSA在光纤骨干网当中安装窃听装置的信息，这种装置被称为是“情报流量分析器(Intelligence Traffic Analyzer)”。生产这种装置的公司是Narus，2012年9月，我采访了该产品的数字分析模块负责人尼尔?哈林顿(Neil Harrington)。他在采访中对我说，这种仪器能够在每秒钟内对上千兆(gigabits)数据进行分类和排序处理。“一般10G网速的以太网界面能够始终保持每秒最高12G的速率，如果关闭标签匹配(tag pairs)，还能再快些。”NSA在美国本土和全球其他国家的许多网络环境当中都使用这种监听设备，在如何处理这些海量数据的问题上，也遇到了一些问题。存储、索引和分析的数据体量需要更先进的技术。
思科的数据显示，2012年全球互联网每天的流量达到1.1EB，NSA想要捕获并存储这样大规模的数据是不可能。况且还有SSL加密技术，破解SSL加密连接需要花费许多计算成本，无法应用在全网流量上。所以就算NSA能够窃听网络传输，大概也没办法做到实时监控。
“社交网络”的雏形 & 秘密社交图谱
自从2001年的911事件之后，NSA就开始从电信公司那里用户信息，其中包括电话拨叫纪录、移动设备的地址信息等等。NSA从所有搜集的数据中进行挖据，这个数据库被称作MARINA。根据《卫报》上周披露的文档，NSA仍旧在搜集所有美国本土和海外拨叫电话号码——只不过现在有了FISA(海外情报监听法案)的承认。2006年，《今日美国》的文章称MARINA是“全球最大的数据库”。
具有讽刺意味的是，大概在同一时间段有两个软件程序被曝光，互联网公司谷歌和雅虎当时正在解决大数据存储和分析的一些问题。2006年11月，谷歌发布了一份有关BigTable的论文，BigTable是一种能够对PB规模级别的网络数据进行索引的技术，支持Google Earth和其他应用程序。雅虎则开发了比谷歌GFS文件系统(BigTable的理论基础)更先进的技术，成就了Hadoop的问世。2008年，NSA对BigTable进行了调整，改名为Accumulo，目前该项目由Apache基金会负责。
Accumulo能够基于数据的特殊模式产生实时报告。比如，系统能够从某个IP地址段当中寻找特定关键字或者电邮内容中的地址，也可以寻找与某个目标号码相隔两度的电话号码。接着Accumulo可以把找到的电子邮件或电话号码放到另外一个数据库里面，供NSA特工进一步调查。
换句话说，Accumullo让NSA可以像谷歌处理用户电邮和Web搜索一样，只不过一切信息都是从互联网的通讯流量、或者你拨叫的电话而来。Accumulo只是NSA的手段之一，过滤后的数据Accumulo可以传输给其他分析工具，比如Palantir。后者是可视化的数据分析工具，可生成关系图谱——这一点和Facebook的Unicorn搜索和社交图谱在概念上十分类似，谷歌的知识图谱和微软的Satori也是如此。
Accumulo已经可以为分析工具提供大规模的数据了，但是这还没完，NSA又引入了其他社交网络的数据源，这就是PRISM。
PRISM，像DropBox一样的云平台后门?
前文提到，NSA面临的问题之一是SSL加密连接，也就是Gmail、Facebook、Hotmail这些服务用来保护数据传输安全的技术。讽刺的是，PRISM让SSL加密技术成为NSA搜集数据的积极因素。
基于斯诺登披露的文件和发布在《华盛顿邮报》和《卫报》上的内容，微软实际上从2007年就在向NSA提供数据。PRISM帮助NSA在云计算平台上直接获取数据和用户信息，可以绕过SSL加密认证，直接调用云端存储的数据。
PRISM等于是NSA和云服务平台的在线通讯链接。尽管对于这一点还有些争议，是否为“直接连接”仍旧存疑。但是《卫报》和《纽约时报》的文章引述微软线人的信息指出，PRISM更像是DropBox那样的模式，好像是“安全在线空间(secure online rooms)”一样。互联网公司们可以用这种方式把数据提交给NSA，即与服务器信息进行同步。内容就是用户信息、电邮内容和分享的文档等等。FBI就曾在以往的调查行动中发现了前CIA情报部长大卫?皮特尔斯(David Patraeus)的婚外丑闻。
