近几年来，“大数据(Big Data)”一词快速升温，成为了IT行业争相传诵的热门概念。最早提出“大数据”时代已经到来的机构是麦肯锡。麦肯锡在研究报告中指出，数据已经渗透到每一个行业和业务职能领域，逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。麦肯锡的报告发布后，包括IBM、EMC、甲骨文、微软、天融信在内的各大厂商纷纷跑马圈地，强势进入，投入了巨大的资源抢占这个领域的话语权。
非结构化数据增长带来新安全问题
随着互联网技术的不断发展，数据本身是资产，这一点在业界已经形成共识。事实上，“大数据”并不是一项技术，而是由于不断增长的数据量和数据种类而逐渐衍生出来的一种现象。因此，“大数据”在业内并没有统一的定义。不同厂商，不同用户，站的角度不同，对大数据的理解也不一样。因此，大数据市场的快速发展，主要得益于非结构化数据的爆炸式增长。
随着计算机信息化技术飞速发展，企业中的主机、服务器、防火墙、交换机、防毒墙、无线路由等等网络设备、安全设备以及应用系统越来越多，这些设备所产生的海量日志信息成为了大数据时代飞速增长的数据的重要组成部分，由此带来的日志管理与安全审计的工作也变得越来越复杂。面对海量数据，单靠人工进行管理几乎成了一件不可能完成的工作。越来越多的企业也意识到了这种挑战：一方面，IT 负责人和职员无法有效地对海量数据进行有效地收集、处理和分析;另一方面，企业CEO 以及高层管理人员因不能及时获得所需的信息，而无法预测出潜在的业务风险，坐等商业机会的流失。
综合管理应对海量数据安全挑战
天融信在面对大数据时代带来的新挑战时，提出大数据综合管理平台战略，相应地推出了海量日志数据自动收集与实时智能分析产品 (TopAudit-Log，简称TA-L)，为企业转型、成长提供必要的战略技术支撑，帮助企业将新挑战变为新机遇。通过海量数据的自动收集、处理以及实时的智能分析实现企业高效、便捷、经济的大数据管理。
该产品主要由数据采集、实时数据分析与存储、综合管理平台三部分构成，其结构如下图所示：
产品架构
海量日志数据自动收集与实时智能分析能够与任何企业以及职能部门进行整合，从以下四个方面帮助其全面应对海量数据带给企业的新挑战：
1. 通过技术手段进行海量数据自动收集，并进行非结构数据归一化处理，同时将原始数据进行高效压缩存储，最大限度提高存储利用率和数据收集速度，解决人工无法完成海量数据收集的难题。
2. 收集数据的同时通过数据实时分析引擎对海量数据进行深度分析，数据实时分析引擎融合了数据库、人工智能、机器学习、统计学等多个领域的理论和技术，从收集到的大数据中第一时间挖掘出黑客攻击、非法操作、潜在威胁等各类管理者关注的安全事件。同时，采用独特的事件关联分析技术实现用户、事件、后台数据库三层关联分析，关联分析准确度高达90%以上，从根本上解决了人工无法进行海量数据处理与分析的难题。
3. 数据实时分析引擎进行深度分析出的各类安全事件将第一时间通知实时告警平台，告警平台根据管理者的要求第一时间将管理者关注的安全事件信息告知，便于管理者及时采取有效的管理措施，帮助管理者有效的进行企业风险管理。
4. 最后通过统一管理平台，管理者可以进行海量数据查询以及统计分析，可以第一时间帮助管理者整理出企业CEO以及高层管理人员关注的信息，简单、直观、高效。为企业高层管理者预测未来并制定相关管理办法以及企业发展规划提供依据，并帮助企业更好的进行风险管理以及满足各项合规性检查。
TA-L的典型应用
TA-L高效的大数据自动收集效率以及智能动态分析性能是行业独一无二的，不仅涵盖了从软件到硬件的各类安全设备、网络设备、应用系统，同时也创造性的将各种看似毫无关联的海量数据进行深度挖掘并进行关联性分析，将普通的大数据处理提高到了智能分析，化挑战为机遇的战略高度，充分涵盖了海量信息价值发掘历程中的各个层面。该产品尤其适合网络结构复杂、系统规模庞大、容易形成大数据的金融、政府、银行、证券、运营商、医疗等各大型机构。采用多级分域部署的集中管理方式，构建覆盖全国总部、各省级单位和地市级单位的综合管理体系。其典型的部署架构如下图所示：
产品典型部署
天融信日志数据自动收集与实时智能分析系统凭借优异的大数据自动收集性能结合高效的海量数据智能实时分析与动态实时告警，已经到政府、军工、教育、能源等多个行业得到了广泛应用，深受IT管理者好评。相信在不久的未来，海量数据智能实时分析将辐射各行各业，为各企业在大数据时代的稳健发展提供前所未有的有价值的信息，帮助各企业变挑战为基于，同时，各种基于大数据智能实时分析的产品也将得到更广泛的应用，届时将会有更多的厂商进入这一领域，百家争鸣的局面指日可待。
