11月10日,由中国 MySQL 用户组主办的 ACMUG & CRUG 2018 技术沙龙,全国巡演武汉站拉开序幕。华为云数据库也随之亮相,带来《MySQL数据库在云端 – 华为云数据库MySQL实战》主题演讲,将华为云对 MySQL内核做的大量优化为大家一一揭示。
武汉作为全国经济中心、高水平科技创新中心、商贸物流中心和国际交往中心四大功能为支撑的国家中心城市,许多高新技术企业的逐渐落户,给这座具有历史厚重的城市带来科技气息。华为云数据库的到来,为 ACMUG & CRUG、为武汉的科技色彩都添上了绚烂的一笔。
由于开源数据库已经在云上蓬勃发展,但云数据库并不是简单 VM+DBS 的堆叠, 而是需要结合软硬件做深度改造,因此,相关技术人员们正面临不同程度的挑战。本次活动主要面向 DBA(数据库管理员)、运维、开发、MySQL用户、Redis 用户等人群,而华为云数据库技术专家带来的分享,也正是围绕他们的需求展开。
云数据库 VS 云端自建数据库
关于云数据库和云端自建数据库的差异,前者使用便捷、成本更低等,已经是老生常谈的话题。而具体到技术人员的使用过程中,云端自建数据库还会存在更多挑战,下面列举几个关键点。
云端自建数据库的挑战:
没有 super 权限
由于没有super 权限,管理人员往往不能执行 reset master 等管理命令、不能通过 set 命令修改参数;此外导入数据、创建触发器等可能报错;而且不能自行删除日志,可能导致磁盘空间满,无法对数据库进行写入操作。
不能登录操作系统
这导致的问题主要有两个:不能接触物理文件,不能从服务器端 load 数据,对管理人员来说,相当不方便。
不能自由选择存储引擎
由于云端自建数据库不能自由支持第三方存储引擎,导致管理人员选择受限。
不能安装插件
由于不能自行安装插件,导致使用过程中某些功能或需求难以实现。
那么,云数据库又是如何解决这些问题呢?
云数据库的对应措施
主备高可用、实例重启等由云服务商自动完成,通过 console 来修改参数,通过规避方法可以避免使用 super 权限。
通过 console 服务化方式提供,比如慢日志、错误日志等,客户从客户端执行 load data local infile 导入数据,权限默认放开。
目前支持 MEMORY、CSV、MyISAM、InnoDB、ARCHIVE、MGR_MYISAM 等主要存储引擎,满足绝大多数场景。
将一些常用插件事先安装。
事实上,云数据库与云端自建数据库的最大区别,正是在于对数据库系统的关注程度。
云端自建数据库相较传统自建数据库而言,虽然免去了机房、机架、网络、服务器、操作系统等基础设施的投入和维护,但仍然需要技术人员对数据库系统自行搭建和运维,从安装到运维,升级、补丁、备份与恢复、高可用、弹性伸缩等工作,一步都不能少。
云数据库最大的优势,则在于解决数据库的软硬问题,提供数据库从搭建到运维的一站式服务,将技术人员从繁复的日常运维中解放出来,投入到架构升级、应用优化等更重要的工作中去。
华为云数据库 MySQL 增强版
在与客户和用户的大量接触中,华为云数据库从大家亟待解决的问题入手,基于业务可靠性和可用性进行优化,提升 RDS 服务体验,解决痛点问题。
一方面,华为云 MySQL 积极拥抱社区借鉴优秀方案,回合部分代码、fix 其中的 bug,达到快速上线的要求。一方面,华为云 MySQL主动拥抱公有云架构,面向最终的服务体系,端到端进行优化调整,根据客户可维护性诉求提升服务质量。
华为云 MySQL 从功能到架构上的优化主要有以下几个方面:
GTID 约束放开
社区版对于打开 GTID 有几种约束限制,会导致一些用户迁移上云需要应用改造。华为云 MySQL 搭载 HWSQL 内核,首家全面支持 GTID,无需改造应用即可迁移上云,领先市场。
引入线程池
传统 MySQL 采用的单线程模式,高并发场景下性能会降低。华为云引入企业版中线程池的功能,大并发下支持更多连接,性能稳定卓越。当前,华为云 MySQL 5.6 和 5.7 都引入了事务级的多线程复制,有效降低复制延迟。
支持存储引擎自动转换
华为云 MySQL能自动将存储引擎 MyISAM 转换为 InnoDB,完全支持事务,同时避免表级锁,提高并发性,且兼容 MyISAM 语法,对用户完全透明,解决 MyISAM 不支持事务的问题。
支持 RDS 权限控制
防止用户误删除系统库或者执行一些破坏实例正常运行的命令,能保证实例的更稳定运行。
引入备份锁,彻底解决备份事务阻塞问题
社区版 MySQL 使用传统备份工具进行物理备份时,需执行 flush table with read lock;命令获取全局读锁;如果此前存在长事务运行未结束,读锁命令将持续处于等待状态,导致后续读写语句阻塞。华为云 MySQL 引入 backup lock,彻底解决备份事务阻塞问题,提高备份效率。
支持 root 账号 kill 掉其他 user 线程,线上线下体验一致
Root 能 kill 其他线程,查看每个线程的内存、CPU 使用情况,符合线下使用习惯,方便运维。
当前,华为云 MySQL 搭载 HWSQL 内核,增强连接池特性,并发 5000 ,性能稳定,QPS 超过 17万+,高并发性能提升50%以上。
值得一提的是,华为云近期推出了基于 Paxos 协议的一主两备三节点架构的 MySQL 金融版,解决网络孤岛、脑裂等分布式系统问题,确保数据最终一致性。保证数据库高可用和高可靠,满足金融场景下的数据库高要求。
