随着斯诺登在俄“安居乐业”，“棱镜门”事件逐渐淡出人们视线。但是，由此引发的数据隐忧却引人深思。信息技术的飞速发展，使“大数据”与情报紧紧挂靠在一起。今年3月，美国总统奥巴马宣布启动“大数据研究与开发计划”，旨在提高从“大数据”中提取情报的能力。美国国防部亦宣布投资2.5亿美元启动“大数据”研发计划，舆论称此举为“重新定义军事情报与赢得战争而进行的一场豪赌”。
一般而言，数据集合的容量要超过万亿字节(TB)甚至千万亿字节(PB)级别才被视为是“大数据”。在当前，一个不容忽视的事实是，现有的数据处理技术已经明显落后于数据本身的发展速度，而这种矛盾必然给情报工作带来巨大挑战。
先进的情报、监视和侦察系统的大规模部署和应用，使得部队能够获得前所未有的态势感知能力。但是，“大数据”的出现却加剧了信息过载问题，前端部署的先进传感器数量越多，最终涌入后端分析部门的数据洪流就越难以应对。美军将这种困境形象地描述为：情报分析人员处理军事情报信息就像从打开的高压水管中喝水一样困难。曾任美军参联会副主席的詹姆斯?卡特赖特曾表示，美军一架“捕食者”无人机一天所搜集的视频数据就需要19名情报分析人员来处理，足见数据分析的难度要远远超过数据获取。如今，美军在阿富汗部署的情报、监视和侦察系统每天获取的数据量就超过了53TB，而其中真正被有效分析的数据比率却不高。
情报工作领域的“大数据”往往来源多样，连续不断产生，而且处理时间不易同步，这些因素必然导致情报数据的价值含量变低，提取难度加大。比如，部署于边境地区24小时不间断运转的监控设备，其摄录的视频数据中可能只有几分钟甚至几秒钟真正具有价值，而单纯依靠人工挑选这些信息无疑事倍功半。美国国防部高级项目研究局执行主管凯哈姆?加布里尔认为，使用现有技术处理“大数据”犹如“大海捞针”，他说：“假如1加仑的水代表1比特的信息，那么整个大西洋只能存储全球2010年生产出来的信息，而使用现有技术系统从其中提取特定信息的难度相当于在浩瀚的大西洋中找到1只容积为55加仑容量的木桶。”因此，现有数据挖掘、检索、筛选、提取、分析的技术实际上已无法满足“大数据”时代的信息处理需求，主要情报强国已经开始研发高度智能化、自动化、能够实现人机交互的新型技术系统，以提高处理情报数据的效率。
与作战行动支援密切相关的情报数据往往关乎部队的生死存亡，如果不能在合理时限内将其生产为情报，那么，随着情势不断变化，原始数据就可能失去应有的价值。因此，情报的价值转化效率是衡量信息化条件下军队战斗力的重要标准之一。如今，情报与作战一体化已经取得快速进展，在某些作战行动中，无人机已经可以对实时侦察捕获的重要目标进行“发现即摧毁”式的精确打击。但是，全方位构建信息化条件下遂行联合作战的“侦打一体”体系，必须以各类原始数据能够被及时、快速、准确地生产为情报，并提供给所需用户为前提。如果现有情报能力无法应对“大数据”汹涌而来的负担，必然会造成情报价值转换效率降低，直接影响到作战部队的战场态势感知、信息攻防以及应急反应能力。针对这种挑战，美国国防部在其“大数据”研发计划中提出了“从数据到决策”的理念，核心思想就是对情报工作流程进行革新，使情报的前端和后端合为一体，与作战流程无缝链接并相互驱动，从而实现体系化的“从传感器到射手”的革新。
