最近，关于大数据的讨论此起彼伏，企业也越来越关注大数据的管理问题。但事实上，很多企业并没有真正理解什么是大数据，也没有部署相关工具去有效地管理它们。“很多人都不理解究竟什么是大数据，因为并没有明确的定义，大家都感到很困惑。”LogLogic公司首席营销官Mandeep Khera这样说。
最近，LogLogic与IT安全研究公司Echelon One共同完成了一项大数据管理调查。调查发现，有49%的企业有些或者非常关心大数据管理问题，而有38%的企业并不明白什么是大数据，另外有27%的企业表示他们对大数据一知半解。此外，调查还发现59%的企业没有部署相关工具来管理IT系统中的数据，而是转向独立系统和其他系统，甚至是使用电子表格。此次调查的对象是207位来自各行各业的主管或以上级别的个人。
“大数据是大量的非结构数据。如果管理得当，我们能从大数据中挖掘出有效信息，帮助企业解决安全、运营和法规遵从等问题。所有企业都正在从企业内部各种来源以及云基础设施中收集越来越多的数据，而很多企业还没有使用正确的工具和流程来管理这些数据。如果这种模式继续下去，我们将会看到，这样做的企业会远远落于人后，因为他们无法获取对系统洞察力，从而帮助企业做出明智的决定。”Khera解释说。
在此次调查中，62%受访者表示他们已经在管理1TB以上的数据，以后还会有更多数据。全球数据量正在以疯狂的速度增长。据称，目前存在的90%数据来自于过去的两年间，这些数据来自传感器、交易记录、图像和视频、社交媒体、日志等。
这就是大数据。如果正确使用大数据，它将为你提供梦寐以求的情报和洞察力。在安全方面，它可以让你看到网络中正在发生的事情，以保护企业免受高级持续性威胁和恶意软件。同时，还能通过优化服务器和供应链管理来提高运营效率。它甚至还可以帮助你处理法规遵从的问题。
Khera表示，控制大数据的关键之一是日志管理，日志管理能够整合来自企业范围内的所有日志，建立索引存储库，并以常见的用户界面显示。要利用这些数据，需要具备数据规范化和关联化，以及报告和发送告警的能力。
2012年2月，LogLogic委托IANS对其日志数据管理和法规遵从产品进行信息安全投资分析(简称为ISIA)。在走访了几位存在大数据处理问题的LogLogic客户后，IANS表示：“大数据的日志管理与一般数据的日志管理之间主要区别是，如何管理规模庞大的日志信息。如果没有简单易用的用户界面或者提供快速访问的索引存储库，几乎不可能从数据漩涡中找出有效情报。
大数据管理解决方案必须跟上新信息产生的速度。这对于告警方面尤为重要，如果索引时间太长，关键的告警消息将被延迟，从而会造成严重问题。”
现实的情况是，目前只有54%的受访者使用日志管理解决方案来管理日志数据。很多企业使用系统日志(syslog)或者电子表格进行日志管理，而LogLogic的调查显示，33%的受访者没有对日志进行管理。大数据管理任重而道远。
