展板轮道共话大数据

主题: 展板论道：克服实时分析企业大数据的阻碍

时间: 2 小时 45 分钟(4月10日 14:00 展板论道站13)

技术级别: 中级

摘要: 相比一般 IPDC 使用场景，实时分析企业大数据需要处理比灵活数据模式更为复杂的集合。 传统的 RDBMS 和主流的 NOSQL 解决方案(如 HBase/Hadoop)均无法满足响应性和高并发性方面的重要要求。 要解决这一问题，需要采用分布式内存计算，以实现横向扩展能力和更快的处理速度。 在这一展板论道中，我们将列举现有的开源实时分析项目，介绍我们针对分布式内存计算的建议架构，并分享我们取得一些实验性成果和与中国独立软件开发商合作伙伴一起开展的技术研究。

主题: 展板论道：在英特尔® 架构上分析和优化 Hadoop* 性能

时间: 2 小时 45 分钟(4月10日 14:00 展板论道站12)

技术级别: 中级

摘要: 本展板论道涉及的主题包括：

• Hadoop* 性能瓶颈分析

• 面向 Hadoop 的英特尔® 硬件解决方案，包括固态硬盘 (SSD)、10G 网络和 CPU 加速指令

• 面向 Hadoop 的英特尔® 软件解决方案，包括英特尔® 集成性能基元库(英特尔® IPP)和 VTune™ Amplifier

• 擦除 HDFS 中的编码，特征化和优化

• 其它 Hadoop 调试方法

主题: 展板论道：应对企业数据爆炸式增长：SQL 和 NoSQL 的统一整合

时间: 2 小时 45 分钟(4月10日 14:00 展板论道站15)

技术级别: 中级

摘要: 在本展板论道中，我们将介绍一个针对大数据企业解决方案的统一架构和真实案例：SQL 和 NOSQL 一起应对大数据挑战。

本展板论道涉及的主题包括：

• 企业大数据的挑战和机遇

• 涵盖关系数据、流数据和批量数据的处理模型

• 大数据参考架构

• 大数据迁移加速因素

• 案例研究

主题: 展板论道：在高性能计算 (HPC)中处理大数据

时间: 2 小时 45 分钟(4月10日 14:00 展板论道站16)

技术级别: 中级

摘要: 在一些高性能计算 (HPC) 领域，会生成庞大的数据量，并以结构化格式进行存储。当前的集中后处理工具的处理时间很长。

基于互联网门户数据中心 (IPDC) 的 Apache* Hadoop* 解决方案，我们建议采用以下解决方案来加速数据后处理：

• 将高性能计算结果存储到 Hadoop 分布式文件系统 (HDFS)，以利用分布式磁盘 I/O

• 根据运营模式修改 HDFS 的文件块布局，以实现负载平衡

• 使用混合消息传递接口 (MPI) 和多线程替代 MapReduce 来执行操作

• 基于文件块布局信息分配任务

• 重叠数据 I/O 和计算

• 为了缓解网络压力，在通过网络传递前，使用英特尔® 集成性能基元库(英特尔® IPP)压缩所有数据

欢迎加入本展板论道，了解有关此优化战略的更多信息。届时我们将介绍一个对气候系统模型 (CSM) 项目进行优化的案例研究。在这一案例中，后处理时间得到了大幅缩短。