平滑快速又安全!这才是数据库上云的Cool姿势

德意志银行的分析报告称,中国84%的企业有意愿上云,认为云是未来。

越来越多的企业正将业务系统迁移到云上,享受云计算带来的服务变革,如高性能计算、弹性扩展资源、一站式运维服务等,大大降低企业的使用成本和维护成本。

市场研究机构IDC的报告数据印证了这一点:中国服务器出货量出现10年来首次下滑,企业快速迁移上云是背后主要诱因。

而对上云企业而言,最关键的一步是保障数据库高效可靠地迁移。因为数据库承载着企业核心业务,但传统的数据库迁移工具要求数据库在迁移中必须停服,极大影响业务。

早在2015年,我们深知上云企业的痛点,发布了数据传输服务DTS(Data Transmission Service),如果企业采用DTS,数据库在迁移过程中依然可以正常提供服务。

目前,DTS可支持多达18种数据源,已完成约40万个数据库上云。

迁移数据库上云,DTS有哪些技术亮点?

DTS支持关系型数据库、NoSQL、大数据(OLAP)、搜索引擎及消息队列等数据源间的数据传输,是一种集数据迁移、数据订阅及数据实时同步于一体的数据传输服务,能够帮助企业实现:

数据异地灾备

在线数据库到大数据、搜索引擎

异步消息通知等多种需求

数据库零停机上云

异地多活

缓存更新 

经过多年技术积累及应用实践,DTS沉淀了诸多优势,能帮助数据库更平滑、安全、快速地搬迁上云。部分场景下,迁移性能可达100Mb/S

平滑迁移

  • 非侵入式数据实时采集:基于数据库日志监听解析的技术,DTS实现非侵入式的增量数据实时采集,实现数据库零停机上云迁移。
  • 断点续传:当数据源、网络或者DTS节点发生异常故障时,支持完善的断点续传机制。故障恢复后,会断点续传未同步数据,避免全量数据重新同步,有效提升上云效率。

快速迁移

  • 分布式并发架构:采用分布式智能并发模式,根据数据库数据量自动评估并调度多个服务节点并发处理数据流,有效突破单机极限,水平扩展系统吞吐量。
  • 智能分片:对数据库中待迁移表采用多种智能分片策略,实现表内并发迁移,保证数据传输的并行能力并有效解决数据库写入放大问题。
  • 并行抓取:解耦数据抓取及数据写入模块,实现数据抓取及数据写入的全并行,极大提高系统整体吞吐能力。

安全迁移

  • 容灾守护:具备完善的容灾守护机制,会自动守护所有传输任务,一旦出现任务异常,自动进行容灾切换,快速恢复任务。同时,所有模块采用高可用架构,一旦任一节点发生故障,容灾系统就将故障节点的任务秒级恢复到正常节点。
  • 数据隔离:实现不同任务在计算和存储资源上的完全隔离,保证不同用户间的数据相互隔离,有效提升数据的安全性。同时,支持数据库的安全连接协议SSL,进一步提升数据传输安全。

40万个数据库上云,DTS已成上云标配

目前DTS已成为企业数据库上云必备的数据迁移工具,服务的企业客户遍布各行各业。

例 如

「echo回声」app备受年轻人喜爱,也是全球最大的3D音乐平台。「echo回声」app原本通过50多个数据库实例支撑app和web的日常业务,但随着数据量增长,数据库实例的管理成本越来越大,性能也越来越难以满足业务需求。

阿里云提供ECS+Redis+RDS的组合方案,基于DTS增量日志解析技术,实现「echo回声」数据库不停机在线迁移,所有业务在2小时内迁移完成,核心业务在半小时内切换;基于DTS多对一的迁移能力,对数据库实例进行合并,从迁移前的50个实例整合为20个,大大降低使用和管理成本。

十年磨一剑,阿里云数据库厚积薄发

2011年,阿里巴巴就开始投入DTS研发。

而阿里巴巴对数据库的研发投入更是由来已久,早在十年前,阿里巴巴就遇到了数据规模的压力,开始尝试用分布式数据库替代传统数据库,并在全球率先提出去IOE。如今这一理念已被全球企业广泛采纳。

阿里巴巴集团内部已经大规模采用云数据库。2018年天猫双11,阿里云数据库成功应对了100倍的日常压力,支撑起2135亿的总交易额。

除了核心生态产品DTS,阿里云还拥有国内最强大和丰富的数据库产品家族,涵盖了关系型数据库、非关系型数据库、分析型数据库以及生态工具满足用户不同的数据库应用场景。

阿里云数据库正引领多个前沿技术领域,解决企业核心业务上云的关键难题: 

  • 云原生数据库技术:PolarDB通过IO路径旁路化、创新的一致性协议、物理复制等技术,实现了领先的云原生数据库能力,性价比是传统数据库的10倍。
  • 智能化数据库技术:DBaaS平台具体多方面的自动化能力,基于人工智能技术,实现了参数自调优、内存使用自调优、故障自处理等。
  • 数据库安全技术:国内首家提供BYOK的云数据库服务商,从用户连接、数据传输,到数据存储,提供了完整的全链路加密。
  • 分析数据库技术:AnalyticDB是最快的实时分析数据库,在全球权威分析型基准测试TPC-DS榜单中位列第一名。

PolarDB是由阿里云研发、国内首个云原生数据库,采用存储计算分离、软硬一体化的创新设计,具备快速弹性能力、超大规格、超高可靠性以及两倍于AWS Aurora的性能。目前,已支持企业将线下的MySQL、PostgreSQL和Oracle等数据库轻松迁移至PolarDB,最快数小时就可以迁移完成。

相关研究成果多次入选国际数据库顶级会议

在今年的ACM SIGMOD上,PolarDB相关论文入选,阐述面向大规模流量场景设计的自研存储引擎X-Engine,突破传统数据架构的局限,采用分层存储的全新理念,可以根据数据访问频度将数据合理归位,实现快存快取。

全球两大顶级机构认可

  • 2018年,成功进入Gartner数据库魔力象限,成为榜单中首个中国公司。
  • 2019年,进入Forrester数据库评估报告《The Forrester Wave™: Database-As-A-Service,Q2 2019》,创造国内公司的最好成绩,进入“强劲表现者(strong performance)”象限。