这个从安全角度对大数据的观察希望企业应用基于开源软件Hadoop的庞大的数据库。这将导致在IT部门出现一个围绕Hadoop的新型的“数据科学家”的职位。安全专业人员和分析师现在也在讨论大数据还将产生以安全为重点数据科学家。这些数据科学家将利用工具和知识准确地找到设法窃取敏感数据的隐蔽的入侵者的攻击。
在复杂的网络中抓住网络窃贼已经证明是很困难的。“大数据”将提供新的希望。但是，“大数据”能保证做到吗?
咨询机构企业管理协会的分析师斯科特·克劳福德(Scott Crawford)也这样认为。他在旧金山举行的RSA会议关于大数据和大数据如何帮助增强安全的分析师小组讨论会上说：“统计分析将识别出异常情况，但是，统计分析不理解安全。”
克劳福德预计最终将出现一个大数据的“安全算法市场”。他指出，Red Lambda和Palantir等公司目前正在解决这个问题。它们利用大量的算术分析以发现异常情况。
对于网络内部行为正常网络用户来说，企图隐藏起来的恶毒的攻击者一种异常行为。攻击者通常隐藏在正常用户的后面。Gartner分析师尼尔·麦克唐纳德(Neil MacDonald)在RSA小组会上发言称，目前，隐蔽的攻击者正在通过传统的防御措施，如入侵防御系统、防火墙和杀毒软件。
麦克唐纳德称，这些渗透和窃取高度敏感数据的灾难性的攻击有时候称作“高级的持续威胁”(APT)。这种攻击是能够把自己的恶意行为有效地隐藏在网络中的人类演员实施的。我们还不知道在网络中“好的”和“坏的”行为是什么样子。他指出，你必须了解“好的”行为是什么样子以便理解“偏离好的行为”。
分析师认为，大数据正在为安全分析提供新的可能性。这意味着目前使用的安全工具、安全信息与事件管理以及类似的不能解决这个问题的工具必须要发展。
麦克唐纳德称，在某种程度上，这种发展现在已经开始了。他是指RSA的威胁检测产品NetWitness和惠普的ArcSight SIM。CrowdStrike等一些创业企业称，他们将用新的方式解决APT问题。
但是，SIEM(安全信息和事件管理)的发展能够处理与商务有关的大数据吗?这个整个想法是不是一个愉快的假象?这个整个想法就是把更多的商务数据添加到来自各种防火墙、服务器、入侵防御系统和类似产品的更传统的SIEM数据中以便提高更有意义的关于入侵者的情报。
市场研究公司Forrester的分析师约翰·金德瓦格(John Kindervag)称，人们不能从SIEM工具中得到自己需要的答案。他表示将会出现一些新的东西。SIEM工具将是这些新东西的一部分。
在参加RSA小组讨论会的分析师中，企业战略集团(Enterprise Strategy Group)分析师乔恩·奥尔特辛克(Jon Oltsik)是最乐观的。他认为大数据是解决APT问题的答案。
奥尔特辛克发表评论称，我担心的问题是我们将获取更多的数据，但是不知道用这些数据做什么。企业中的首席信息安全官目前还没有宣传大数据将促进安全的想法。他说：“当我与首席信息安全官谈话并且问到有关大数据的问题时，他们只是笑一笑。”
不过，一些大数据安全方法的早期应用者也表示有希望。
Zions Bancorporation公司已经建立了一个大型数据库，对实时安全和商务数据结合在一起的数据进行预防性的分析，以便识别钓鱼攻击，防止诈骗和阻止黑客入侵。这个数据库是在去年10月发布的，是以Zettaset数据库为基础的。这个数据库利用Hadoop工具数据密集型的分布式应用的分析。该公司首席安全官普雷斯顿·伍德(Preston Wood)把这种做法解释为增强SIM工具的一种方法并且为了安全目的分析大量的历史的商务数据。
包括NetIQ在内的SIEM厂商表示，他们知道，有关大数据和安全的议论才刚刚开始。
NetIQ产品管理主管马特·尤莱里(Matt Ulery)称，这是SIEM的发展方向。他说，这个行业正在通过集成商务智能开始重新发明SIEM技术。大数据能够检测到异常情况。尤莱里指出，该公司的Sentinel 7.0集成了更多的数据环境。
尤莱里针对攻击者将接管一个账户的事情问到：“你如何定义好的行为?因此，这个问题就是那是一位员工，还是一个攻击者?”隐蔽的攻击行动最多每天会出现几秒钟。因此，这个目标就是区分可信赖的内部人员和攻击者。大数据在这方面会提供许多帮助。
但是，尤莱里补充说，有许多现实的理由说明为什么用于安全的大数据概念将遇到许多障碍。
一个现实的障碍是目前把企业数据放在云计算中的努力。这将使传统的SIEM方法更加困难。SIEM方法一直在企业内部网络中应用。另一个障碍是对大数据抱希望的安全经理们要制定数据管理战略并且推荐非常高级的技术。在还有许其它的多企业问题需要解决的时代，增加大数据问题可能是一个很难说服人的问题。目前，在工作场所使用自己的移动设备已经是企业的一个重大的管理问题。
