新聚思企业云搜索框架打造智慧供应链

 随着当今云计算框架从数据中心架构向企业私有云架构过渡,企业私有云成为企业搭建新一代互联网、物联网、移动互联网的基础。而企业云搜索框架是企业IT系统的神经中枢,如何提高企业搜索的数据存储与处理能力,构造出可扩展,高容灾、可灵活部署、准确并高效的搜索系统成为企业技术架构发展的头等大事。

 新聚思云搜索体系中,我们为搜索引擎添加了Web APP Server特性与Cloud特性,构造出三层的基础架构来创建弹性搜索平台,它是可扩展、容灾的、分布式数据存储与计算、web可访问的集群系统。未加工的数据与待部署的备份索引块保存在可容灾的分布式文件系统中,查询索引部署到分布式的索引分片集群中。在web app server层,有双机备份策略,在索引分片层是基于分布式数据同步服务的索引分片备份策略,在Hadoop集群层是基于slave节点数据块的备份策略。系统中Tika模块可将多类型文档的内容与数据库记录抽取出来,通过定义Solr中Handler将数据保存在Hadoop集群系统中。Katta利用hadoop集群的并行计算能力,基于并行标引算法,通过Lucene创建64M大小的块索引保存在HDFS中。由Katta构建索引分片集群,将块索引合并后部署到索引分片服务器上。用户的查询通过Katta以内嵌方式启动的Solr获取用户操作,Solr根据用户操作特性采用相应的搜索处理核心(core)调用Lucene进行查询操作,获取评分较高的文档并返回给用户。

 新聚思云搜索架构提供广泛的二次开发空间,具备可扩展性、高可用性,新聚思电子商务原有架构只采用了双主机备份,单主机应答的传统商务系统架构,缺乏可扩展性,迁移到云搜索系统之后,部署之后的引擎数量可扩展,应答节点数量横向可随负载的增加而增加。原始数据与索引在容灾方面也有很大的提升。新聚思云搜索为约300个供应商提供几十万产品数据的搜索、存储功能、并行计算与7*24小时的自动维护、容灾备份等功能,并且提供更好的用户体验,更少的人工操作和维护成本。新聚思云搜索提供基于标准的、通用的Web应用接口,并提供运行时服务,用来开发和部署丰富多彩的搜索应用。在美国、加拿大、中国与日本都运行着新聚思云搜索服务。单单在美国,近3年的历史订单数量就超过60,000,000份,该应用的稳定无间断的搜索服务,帮助新聚思企业在各国获得了众多合作伙伴与客户的好评。惠普与施乐公司还正式向公司的应用开发部门发来表扬信。另外,新聚思还邀请了第三方组织对公司提供的应用与服务进行评测,取得了专家和评测人员的高度评价。针对日益增长的用户访问量、海量数据索引和随之而来的硬件成本和人工维护成本的增长, 以及大型数据中心面临的安全可靠性问题。新聚思云搜索系统采取的方式是通过弹性架构模式,将底层服务节点故障进行隔离,以保证不对整体系统的存储能力、计算能力与可靠性造成影响。

新聚思云搜索应用能够管理大规模的服务节点集群系统,存储海量数据,进行高并发、并行的标引与查询计算,能够自动均衡搜索压力,自动对数据进行冗余备份,能够提供7*24不间断服务保证,并将人工维护成本降至最低。新聚思云搜索具备整合所有现有的搜索系统能力,可以灵活地部署具有业务逻辑的搜索处理核心实例于云计算服务器集群中,根据各个子系统的负载情况和数据存储规模,全自动地均衡硬件压力,各个子系统都具有容灾备份功能、都能平稳、安全的运行,快速的响应,能够灵活地进行软硬件升级维护。