为啥非结构化数据多起来，企业就需要对象存储了？
有没有想过，朋友圈的照片，微博上的图片，发在网上的文章，是存在哪儿的？这些照片经年累月的放在网上，想发多少发多少，好像从来不会丢，什么时候想看都行，它是怎么存的呢？就像你电脑里的文档一样排在电脑的硬盘上吗？明显不是，其实，为了存储这种数据，互联网应用的存储后端开创了新的存储方式，叫做对象存储。
以前在企业管理IT基础设施，管理几台数据库服务器，管理几台NAS文件服务器就行。可随着企业应用的丰富多样化，企业运营时间的增长，数据越来越多而且数据类型越来越多样化，企业对文档、图片、音视频等这类非结构化数据的管理问题越来越多，原来的存储管理方式已经不适用。
有朋友不了解结构化数据和非结构化数据的区别，其实区别很简单，我们可以这样理解：大体上只要是能存在SQL数据库中的数据都是结构化数据。所谓结构化是从机器的角度出发设计的结构，比如注册账号时候填写的表格就是典型的架构化数据，年龄，性别，姓名，出生年月等一个个字段可以用模板套格式化结构化的数据，比如编程常用的XML文本就是结构化的数据，结构化数据进行增加、删除、修改、查询都很方便。
标识了属性的XML格式的文档，增删改查都很方便
相对应的非结构化数据就是没什么格式的数据，比如一段在线聊天记录，比如一张图片，比如一个文档，这就是非结构化数据，人或许很轻易看得懂，但机器就觉得很混乱。如果说结构化数据是大小统一形状规则的集装箱的话，那么非结构化数据就好比积木，大小不一，没什么固定格式，没什么规律可循，带来的问题是想找特定的内容速度会很慢，进行格式转化就很麻烦，而且量非常大，需要在大的空间内存放这些数据。
如果把装结构化数据的容器比作精巧的糖果盒的话，装非结构化数据的容器就好比大水桶（恰巧对象存储的一个重要概念就是Bucket）。
企业环境里，这种麻烦的非结构化数据非常多，IDC说，会越来越多，未来的企业里，80%的数据都是非结构化数据。企业需要对现有存储架构作调整，于是，为互联网应用而生的对象存储也开始用在企业环境中，用对象存储解决扩展性、管理性、访问性、经济性等方面的要求。
从我们日常工作生活中的习惯也能明显感受到，非结构化数据的量明显高于架构化数据。你或许也听说过企业级市场上的对象存储，但到底哪些场景需要用到非结构化数据呢？
企业用对象存储的九大场景
日前，在一次关于QingStor对象存储的媒体沟通会上，青云QingCloud资深产品经理 李威介绍了许多需要对象存储的场景以及一些实际落地的对象存储案例。
一个场景是电商、互联网金融、在线教育等行业的Web和移动应用，架构里有数据库、应用服务器、负载均衡的应用，另外还需要存储比如商品图片，互联网金融行业的用户证件照，在线交易视频等文件等，需要存储，此前的做法是搭建文件服务器，文件服务器的扩展性、并发性都有问题，这时候就需要用到对象存储。
第二个场景是企业网盘，其后端就是对象存储。企业网盘不是伪命题，以青云为例，遍布各地的各个部门文档都在用企业网盘，分享和管理文件，企业网盘可以非常容易地分享给特定的个人，群组或部门。企业网盘是单独的市场，与个人网盘有很大区别，企业对访问权限认证的管理更细致，数据管理要求更高。
第三个场景是静态网站托管，比如企业网站。静态网站可以直接托管在对象存储里，对接CDN加速异地访问体验。小规模的网站需要更新时，把文件更新到对象存储相应的目录里就可以了，笔者所在的存储在线网站上存储图片技术就是对象存储技术。
第四个场景是做大数据分析的存储空间。大数据分析首先要解决数据存储的问题，许多企业尤其是传统行业，都只是把数据存起来但不知道怎么用。此前的存储架构对外部访问不友好，做大数据分析还要解决数据访问的问题，而对象存储能很好地支持大数据系统，在做比如舆情分析、互联网金融风控、BI报表、3D建模，都能提供帮助，帮助用户做数据分析。
第五个场景IaaS/PaaS服务。企业云化一定会用到对象存储，青云认为对象存储是一个存储引擎，覆盖IaaS到SaaS的各个层面，比如IaaS的镜像备份、数据库日志备份都能用对象存储，对象存储还能用做同城或者异地灾备，还能用来存放Docker镜像等。
第六个场景是图片处理。进行简单的翻转、剪裁等操作，高级点的还有图片鉴黄功能，其中，鉴黄功能就是一种第三方服务，这显示出青云的对象存储还能方便地接入第三方的处理能力，支持这中能力的是事件驱动框架。从根本的技术上来讲，我们也可以将这种方式视作对象存储的一种灵活性，灵活的访问到存储的数据然后做加工处理。
第七个场景是视频云。许多行业客户包括电力行业、交通行业、建筑行业，都有大量的视频，存储需求很大，传统存储成本造价太高，存储后的检索、点播能力较差，对象存储在这一领域也有很大应用空间。
第八个场景是备份归档，传统的存储也会做备份归档，把企业的邮件、日志通过备份工具备份出来，对象存储在这一部分与归档存储工具有部分重合，不过，对象存储的访问能力要比传统的备份系统要好的多。
第九个场景是数据迁移。用户可以从一个对象存储迁移到另外一个对象存储节点区域，以青云对象存储节点为例，可以在上海区和北京区两个节点之间相互迁移，作为远程备份满足企业同城或者异地灾备的需求。
这些需求的带动下市场发生着显著的变化，IDC的数据显示，企业级数据中的80%是非结构化数据，而75%将会存储到对象存储之上。青云QingStor对象存储研发总监杨锦涛认为，企业对象存储市场是蓝海市场。因为对象存储在企业级存储市场中相对较新，竞争程度相对较低。
在与客户实际交流中发现，对象存储正在为企业所接受，而且青云也有多落地案例。
青云的对象存储咋样？
青云的对象存储产品是一个针对海量非架构化数据的企业级分布式存储平台，有软硬一体的私有化部署模式，也支持公有云和混合云方式使用，支持包括Http，RESTFul API，NFS，FTP，当然还有业界标准的S3等方式访问，基于对象存储，青云提供了API和SDK来支持上面提到的九大场景。
对象存储平台中，一个很重要的技术是事件驱动框架，有了事件驱动框架之后对象存储可以接入各种各样的数据处理服务，青云把事件驱动框架包装在对象存储产品里后，开创性地以私有云的形式交付，有了多种应用功能之后的对象存储平台就不单单是数据平台了，应该叫数据服务平台。
青立方是青云的硬件方案
青云QingCloud QingStor对象存储研发总监 杨锦涛介绍了对象存储的部署案例。
国内某大省的交通集团要做高速网络的精确计费，在各高速路口对车辆进行拍照收集信息，每天车流量是200万辆，每天产生照片400万张，照片就存在QingStor对象存储的公有云上，然后做数据处理、分析和图像做识别，识别出车牌及驾驶人员的信息，识别结果用于计费，也可为公安及其它机构所用。
国内数一数二的保险公司要做一个统一的非结构化数据的数据湖，用于存储遍布全国的分公司产出的各种数据，将数据集中起来进行统一分配、管理，利用大数据技术挖掘价值，这家大型公司有多个场景都改用对象存储了：
一个是把原来存在公有云上的数据迁移到私有云对象存储环境；
一个用QingStor对象存储取代原来的NAS，保单数据，归档邮件、OA系统后端的存储、备份和日志等数据全部通过存储网关对接到QingStor对象存储；
用QingStor对象存储的企业网盘替代原来的FTP文件分享；
用到Elasticsearch（专门的搜索平台）对归档的邮件进行搜索（基于事件驱动框架做的）
用对象存储支持保险行业特有的双录视频，国家政策要求保险业务员在办理保险的时候，需要录视频，而且这些视频需要长期保留，而且需要查询和取证；
用对象存储支持Hadoop、Spark开源项目做大数据分析；
某国内著名酒厂有遍布全国的分店，全国有几十万个终端，每天会产生几百万张图片和陈列柜的短视频。青云用对象存储首先存储这些数据，然后再做裁剪缩放和音视频的传码等操作。
某工业物联网行业用户要做端到端的大数据分析平台，业务场景包括：实时的数据分析、BI统计分析、全量历史大数据分析。案例中的客户全国范围内有18个工厂，每个工厂有5000个数据采集点，每天传输63GB，18 个工厂每年产出405TB数据。
工业物联网产生数据相对碎片化，除了对象存储以外还需要许多别的技术，比如数据采集用到了杭州小莉科技的EMQ，数据分析用HashData的数据仓库，数据传输用Kafka，日志收集用Logstash。对象存储可以很好的对接和支持这些服务。
以上就是青云对象存储的一些实际应用情况。
结语
从市场观察来看，对象存储在企业级市场仍处于开始阶段，更多的对象存储还只在公有云服务商的云端，青云首先是一家公有云服务商，同时也是极少数把对象存储做到企业级内部的服务商。
青云脚踩公有云和私有云的两条船带来独特优势，用一个界面管理云，对于混合云环境的企业用户有很大吸引力。对公有云厂商来说，对企业级存储市场服务欠缺了解，缺少服务能力，对于企业级存储市场的玩家来说，又缺少在对象存储市场的积累，而且没有公有云作对接，少数投入对象存储的外国企业也因为自主可控的原因面临诸多问题，市场给青云这样比较新的服务商留有很大机会。
