中关村在线 发表于:14年06月03日 17:00 [转载] 中关村在线
三、大数据成长路上的“磨难”
对任何一个新事物来说,它在出现和发展过程中都不可能是一帆风顺的,安防大数据在其成长路上又在经历着哪些“磨难”的考验呢?
数据共享问题
目前安防行业内各系统以及各领域之间比较孤立,数据与数据之间并没有互通,从而形成了一个个数据孤岛,这导致各个系统按照大数据的方式使用起来比较困难。他认为,如果利用云存储技术对大数据进行统一管理,把视频与存储进行分离并做成一个通用的共享层,对安防大数据来说将不失为一大进步。
筛选有效数据问题
众所周知,以视频监控数据为主的安防拥有着海量的数据,然而,在这海量的数据中,可利用的、有价值的数据却是少之又少的,如何在海量数据中高效地筛选出有效数据便成为一个非常困难的问题。如何在大数据中快速高效地筛选有效信息正是目前安防大数据技术发展的问题所在。他认为,安防的数据量大,且传统的安防多是事后查证,于是把所有有用无用的数据全存储下来,其造成检索查找不便。众多厂商都在致力于探索如何从安防大数据中提取有价值的数据信息。
大数据的最终目标是尽可能快速地利用各种数据来做出最好的决策。当前需要高效筛选安防数据,依然需要对安防监控关注的业务对象进行人工监督的建模,基于业务对象建模反向指导数据采集汇聚与分析。当前有两种决策分析模型,一种是基于假设的模型,要关注哪些高价值数据,关注相关领域的数据,关注那些能够提升效率的数据;另一种模型就是一种不是基于假设的模型,是一种机器学习(如神经网络算法等)的模型,大数据带来的变化是分析必须减少对于固有数据的依赖,分析模型将能够根据数据流中的动态数据自适应。这种模型跟假设模型完全不同,两种模型暂时无法相互替代。从长期来看,一定会有更多的数据需要我们去关注。对安防大数据来说,它能够不断增加安防监控量,帮助我们基于数据做出更合理的决策,这是它的优势。他认为,经过长时间数据和技术的发展,机器学习方式可能会取代假设模型。
安防厂商想要在大数据中快速高效地筛选出有效信息,需要两个基础来保证:于非结构化信息的分析、识别和提取等处理要准确和高效;对大量结构化信息,或者半结构化信息的综合搜索要准确和快速。因此,安防厂商首先需要提升对非结构化信息的处理能力和效率,准确和快速地处理视频图像、人脸特征建模等数据,从里面提取出有用的信息,并且能够进行信息的某种表述,在大数据的存储层面上完成数据信息的提取和存储工作,以便进行后续的数据信息检索,分析和挖掘业务。其次,通过使用并且针对性地改进目前的大数据处理技术以及平台框架,提供针对安防数据信息的快速检索机制,形成有针对性的海量安防数据信息处理架构,从这些大量的结构化和半结构化信息中进行快速检索和分析。
智能分析困难
在安防大数据中,如何对海量数据进行智能分析是关键。现阶段,如何平衡网络带宽承载、降低系统存储成本则成为处理海量数据的前提性要求。在实际应用中,视频图像的分析处理需求日益增加,如车牌识别、人脸识别等,对图像质量提出了更高的要求,也对芯片的解码能力提出了更大的挑战。解决方案不单单是一个芯片就可以完成的,它是一个完整的架构。