推荐几个MySQL 数据库的运维工具
kevin.Zhu 发布于:2020-12-9 14:03 分类:文摘 有 22 人浏览,获得评论 0 条
https://blog.csdn.net/weixin_40599109/article/details/107765504?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromBaidu-1.control
1. Yearning
Yearning 是一个开源的MySQL SQL语句审核平台,提供数据库字典查询、查询审计、SQL审核等多种功能。
在目前 Yearning 有两个版本,1.x 和 2.x。其中 1.x 基于 Python 实现,并且已经不再提供官方的维护,因此强烈建议使用 2.x 版本,2.0 基于 golang 实现。
了解更多Yearning工具的安装和使用,详情可参考官网文档:https://guide.yearning.io
2. Canal
canal 英文译意为水道/管道,主要用途是基于 MySQL 数据库增量日志的解析,提供增量数据的订阅和消费。
基于日志增量订阅和消费的业务包括以下内容:
- 数据库镜像
- 数据库实时备份
- 索引构建和实时维护(拆分异构索引、倒排索引等)
- 业务 cache 刷新
- 带业务逻辑的增量数据处理
当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x.
3. DataX
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、 SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步功能。
设计理念
为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间 传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX, 便能跟已有的数据源做到无缝数据同步。
4. Percona-toolkit
Percona-toolkit是一组高级命令行工具的集合,可以查看当前服务的摘要信 息,磁盘检测,分析慢查询日志,查找重复索引,实现表同步等等。
工具包的下载地址 : https://www.percona.com/downloads/percona-toolkit/LATEST/
安装过程很简单,先解压:
- 1
由于是二进制的包,解压完可以直接进到percona-toolkit-3.0.3/bin目录下使用。
bin 下提供的命令工具有很多,最常用就如:
- 慢查询日志分析:pt-query-digest
- 分析慢查询得到没有使用的索引信息:pt-index-usage
- 检查主从复制一致性:pt-table-checksum