阿明 发表于:14年09月19日 18:47 [原创] DOIT.com.cn
能源勘探研究业,最大的工作不断对地球地表做CT式的扫瞄,海量数据需要极速存储和处理,传统IT系统成为当下突出的痛点。it升级,刻不容缓,只有提高数据处理能力才能提高研究成果。闪存给力海量存储加速,数据处理效率提升,明显改变了能源研究领域的现状。其实做到这一切改变的,还是来自能源行业的CIO以及相关决策领导。
某勘探研究院CIO夜以继日地整理文件,查看设备数据。再怎么夜以继日的数据整理何时才是个头啊?
现实中,爆炸式增长的庞大数据,致使能源勘探研究院的IT设备不堪重负。非结构化数据照片、视频等等海量膨胀,不管是哪个CIO都压力山大。海量数据需要极速存储和处理,传统IT如何是好啊?
因此选择闪存方案带来的IT升级的好处就非常明显了。“闪存给力海量存储加速,犹如闪电一样,快速而有力量。”
之前, 中国石油东方地球物理公司研究院数据处理中心总工程师赖能和老师在谈到这些方面的情况时指出,现在的存储量非常大,每年十几个P的存储的增加,干什么用? 比如50T的项目要把它完成至少要有1000T的裸容量给它,因为它有好几步的迭代,所以这是非常可怕的事情。
这种海量数据对计算特性也提出很多挑战。一是设备价格,二是处理海量数据灵不灵。所以需要采取一些特殊的技术,还要进行优化配置。三是机器用好不容易,怎么把它用好。还有那么大的存储,不是每一家公司买来就能用,买来怎么整合好,怎么用好,不是那么简单,几千T的存储数据在上面,数据丢了就完蛋了,对它的稳定性、管理和可用性等提出很大的挑战。
因此,要解决存储像CPU那样进化很快,怎么办?按照过去的算法做,肯定不行,至少要多线程,计算并行,或者算法并行,这样才能很快把数据处理完。另外就是能耗,这个能耗很厉害,一年电费好几千万。一万T的存储,多少电?但是因为每个机房的电是有限的,很多技术问题。所以,对我们高密度的系统,一个是配置很高。
再者,地震勘探已经进入了一个高密度,大数据的时代。我们相信以大容量、低功耗、稳定的高性能并行存储和SSD技术为解决海量地震数据处理提供了有利条件。通过这几年的应用,SSD用了四年多了,这样对我们解决一些复杂的算法和海量数据起到了非常关键的作用。
他得出的结论就是:大数据大型矩阵的求解必须采用闪存存储阵列,对于海量数据交互处理,在弹性存储中扩展闪存模块,有效提升效率。
他的四点总结引起了现场与会者和阿明的注意:
地震勘探已经进入高密度采集、大数据时代,需要规模化的并行计算系统;
海量地震数据处理需要高性能、大容量、低功耗、可扩展的并行存储系统;
闪存技术应用效果显著,解决了大数据处理中普通HDD很难处理的疑难问题;
工业应用表明,弹性存储架构,如IBM SOSS+FlashS810,简单、灵活、有效、性价比高,还可以根据需要随时扩展闪存加速模块,其可靠性、可扩展性能满足海量地震数据并发处理需求。
因此,在他看来,对于地震勘探这个领域,数据存储与处理都必须要有更高的灵活、性能与弹性,这就要求存储厂商在软件定义存储方面全面的、完整的数据解决方案。
可见,我们结合漫画“能源再造:it升级 刻不容缓”就很容易了解到,IBM全闪存阵列能够给能源行业用户带来立竿见影的性能加速度,加上部署简单灵活,因此全闪存阵列在能源行业的成功应用未来将会得到更多的印证。(阿明)