六年亲历,见证中国大数据技术与应用时代的到来

从科学研究到技术分析再到产业变革,一个大规模生产、采集、存储、计算、分析,并提供新商业价值的大数据时代已然开启!由中国计算机协会(CCF)主办,CCF大数据专家委员会协办,中科院计算所与CSDN共同承办的国内最具影响、规模最大的大数据领域盛会——第七届中国大数据技术大会(Big Data Technology Conference 2013,BDTC 2013)将于2013年12月5-6日在北京世纪金源大酒店举行。

从2008年至今,六年的时光,伴随技术大会的发展,我们亲历和见证了中国大数据技术与应用时代的一步步到来!

从60人的技术沙龙到数千人的技术大会

图:Hadoop in China第一次会议

回想2008年11月,寒风凛冽阻挡不了60余位技术爱好者对“Hadoop in China第一次会议”的热情。在国家863“中国国家网格软件研究与开发”课题的支持下,Facebook,Yahoo!,Baidu,MySpace,Alibaba,France Stremezzo,Nortel等企业的科研人员和中科院计算所、北京航空航天大学的师生们齐聚在中科院计算所,一场关于“Hadoop在实际使用中的经验以及心得”掀起了大数据技术应用的神秘面纱!

图:Hadoop in China第二次会议

2009年5月,一个草长莺飞,碧水如蓝的黄金季节,“Hadoop in China第二次会议”如期举办。在中科院高能物理研究所,参会人数猛增一倍,近150位参会者全程参加了讨论,并对沙龙的会议形式提出很多宝贵的建设意见,为Hadoop技术沙龙(HaCS)以及Hadooper.cn开放非营利组织(NPO)打下了活跃的用户基础。

图:Hadoop中国2009云计算大会

2009年11月,Hadoop技术,尤其是HDFS分布式文件系统和MapReduce计算框架在互联网服务领域得以广泛的应用,并得到研究界的普遍关注。如Yahoo!使用4000节点的机群运行Hadoop,支持广告系统和Web搜索的研究;Facebook使用600节点的机群运行Hadoop,存储内部日志数据,支持其上的数据分析和机器学习;百度用Hadoop处理每周200TB的数据,进行搜索日志分析和网页数据挖掘工作。技术圈需要一个更大的平台来交流和分享,“Hadoop in China 2009”(Hadoop中国2009云计算大会)应声而来。

图:Hadoop中国2010云计算大会

2010年9月,Hadoop已在大量互联网公司成功实践,HDFS和MapReduce之外,对于资源管理、作业调度、存储管理、性能优化、安全机制等方面的研究也在逐步深入。Hadoop in China已经成为中国开源技术界的一面旗帜。在“Hadoop in China 2010”(Hadoop中国2010云计算大会)中,600多位技术专家齐聚一堂,共商开源技术大计。

图:Hadoop中国2011云计算大会

2011年12月,发扬开源精神,联合国内外Hadoop及云计算技术应用的成功企业,引入国际研究界对于云计算及DISC(Data Intensive SuperComputing)研究方向的学术观点,通过技术应用和科学研究双重视角审视云计算技术及Hadoop开源生态系统的现状和发展趋势,促进Hadoop及云计算开源生态系统发展,成为“Hadoop in China 2011”(Hadoop中国2011云计算大会)的办会宗旨。Lucene、Nutch、Hadoop等开源软件创始人、Apache软件基金会主席兼Apache Hadoop项目负责人Doug Cutting,Condor创始人、University of Wisconsin–Madison的Miron Livny教授, Ohio State University计算机系主任、Robert M. Chritchfield讲席教授张晓东,以及来自Google、Facebook、Yahoo!、eBay、中移动、华为、百度、腾讯、EMC等国内外著名互联网公司和IT企业的资深技术与研究人员到场演讲并进行了深入交流,生态系统日益壮大。

图:Hadoop与大数据2012技术大会

2012年11月,秉承开源与分享的精神,顺应云计算与大数据发展趋势,融合CSDN大数据技术大会,“Hadoop in China 2012”再上一个新台阶,更名为“Hadoop与大数据技术大会”(Hadoop&BigData Technology Conference 2012,HBTC 2012),由中国计算机学会(CCF)主办,CCF大数据专家委员会协办,CSDN承办。以“大数据共享与开放技术”为主题,加入更多互动因素,HBTC 2012共设置五大论坛:“Hadoop生态系统”、“大数据行业应用”、“大数据共享平台与应用”、“NoSQL与NewSQL”以及“大数据的技术挑战与发展趋势”。Hortonworks的CTO Eric Baldeschwieler、Apache HBase的PMC32名成员之一、MTS 2 at EBay的Ted Yu、雅虎北京全球研发中心资深研发总监George Chu、MemSQL CTO&联合创始人Nikita Shamgunov,Gartner公司数据中心研究部首席分析师张瑾等数十位重磅讲师,激扬技术与趋势;IBM、英特尔、Teradata、VMware、ebay、腾讯、淘宝、阿里巴巴、中国移动研究院、华为、奇虎360、网易等国内外著名互联网公司和IT企业的学者和资深开发人员聚焦应用和实践,共同为1000多名来自全国各地各行业的高水平开发者和技术管理者呈献了一场技术盛宴。大数据技术真正走下了神坛,在传统行业中扎根发芽。

中国大数据技术大会走向新阶段

步入2013年,大数据应用带来令人瞩目的成绩,不仅国内外的产业界与科技界,还有各国政府部门都在积极布局、制定战略规划。为了更好地迎接大数据时代的到来,并更加明确今后大会的发展方向,今年大会正式更名为“中国大数据技术大会(Big Data Technology Conference,BDTC)”,主题是:“应用驱动的架构与技术”。

大数据的内涵应是数据的资产化和服务化,而挖掘数据的内在价值是研究大数据技术的最终目标。在应用数据快速增长的背景下,为了降低成本获得更好的能效,越来越趋向专用化的系统架构和数据处理技术逐渐摆脱传统的通用技术体系。如何解决“通用”和“专用”体系和技术的取舍,以及如何解决数据资产化和价值挖掘问题,将是今年大会的重点主题。

“中国大数据技术大会(Big Data Technology Conference,BDTC)”大会将设立“大数据架构与系统”、“大数据技术”、“大数据应用”、“大数据的研发趋势”,“大数据基准测试(Benchmark)”,以及“智能交通与大数据” 六个分论坛。拟邀请近百位国内外顶级的大数据学术界专家和业界技术领袖坐而论道,内容涵盖数据获取与清理、传输、存储、计算、挖掘、展现、开发平台与应用市场等方面,覆盖了数据生产的全生命周期。除了Hadoop 版本2.0系统YARN,以及Spark等新型系统架构介绍外,还将探讨流式计算(Storm,Samza,Puma,S4等)、实时计算(Dremel,Impala,Drill)、图计算(Pregel,Hama,Graphlab)、NoSQL、NewSQL和BigSQL等的最新进展。预计参会的专业人士将超过1500人,大会将通过主题演讲、专题论坛、行业峰会、主题展览等形式为与会专家代表提供交流互动、技术分享的平台。

我们期望本次大会能够成为大数据技术与应用深度结合的新起点,成为产业界、科技界与政府部门密切合作的新平台,最终为推动我国大数据的产学研用做出重大贡献。