加快xtrabackup备份速度

   xtrabackup已家喻户晓,如果面临xtrabackup进行远程备份,时间大多花在网络传输中,受orzhou 大师 tar+lz4/pigz+ssh更快的数据传输 的启发,可以采用边压缩边传输的方式:

   线上xtrabackup采用stream备份方式,传送到远端机器;

   原先的流程是:磁盘读取-->打包-->传输-->落盘

   采用“边压缩边传输”的方式(最重要还是要选好工具),

加快xtrabackup备份速度

   流程分为: 磁盘读取,tar打包,压缩 ,传输,[解压缩 ,拆包 可选],落盘

   最理想的情况下是,几个关键步骤都能达到速度的顶峰,提升速度最慢的那个(解压缩过程),减少“木桶效应”的影响;更多压缩工具测试请参考:Gzip vs Bzip2 vs LZMA vs XZ vs LZ4 vs LZO

   xtrabackup远程备份可改为:

/usr/bin/innobackupex --slave-info --safe-slave-backup --user=mysqlbackup --password=xxx  --defaults-file=xxx --port=xxx --socket=xxx  --stream=tar /tmp/ 2>>/tmp/mysqlbackup.log |lz4 -B4|  ssh -c aes192-cbc -o "MACs umac-64@openssh.com"  mysqlbackup@xxx  "lz4 -d | tar -xiC /data/xxxxxxx"
unpigz -cd test.tgz  | pv | tar -xC /usr/local/src/
//简单记录下 pigz 的解压
-c, --stdout         Write all processed output to stdout (won't delete)
-d, --decompress     Decompress the compressed input
更多相关文章
  • Mysql增量备份Xtrabackup中包含两个工具: xtrabackup - 用于热备份innodb, xtradb表的工具,不能备份其他表(MYISAM表). innobackupex - 对xtrabackup封装的perl脚本,提供了myisam表备份的能力.(能进行整库和数据表备份).M ...
  • 三.XtraBackup流备份及压缩(1).流备份使用tar.gz压缩[root@localhost backup]# innobackupex-1.5.1 --user=root --password=xxxxx --stream=tar /mysql/ | gzip ->/backup/b ...
  • 转自:http://apps.hi.baidu.com/share/detail/30191931使用Xtrabackup备份MySQL数据库一.mysql的备份无非有下面几种方式1.mysqldump工具MySQL自己提供的mysqldump是把数据转换为SQL语句,这种方式的效率比较低,备份和还 ...
  • xtrabackup备份数据库
    xtrabackup备份数据库说明:    公司之前备份数据库用的是mysqldump,备份几十G的数据,再加上服务器繁忙,备份速度像蜗牛似的.现在选用xtrabackup备份大的数据库,备份效率高,恢复速度也快参考:    http://467754239.blog.51cto.com/48780 ...
  • 基于Xtrabackup备份mysqlMairaDB
    一.Xtrabackup1.Xtrabackup介绍    Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具2.Xtra ...
  • 使用xtrabackup进行备份Xtrabackup简介Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具.特点:(1)备份过程快速.可靠:(2)备份过程不会打断正在执行的事务:(3)能够基 ...
  •                                使用Xtrabackup备份工具MySQL自带工具的缺点1.mysqldump效率比较低,备份和还原的速度都很慢,任何数据插入和更新操作都会被挂起2.mysqlhotcopy  mysqlhotcopy 是专门针对myisam 数据表进行 ...
  • 1.下载xtrabackup(下载二进制版本免安装)# wget http://www.percona.com/redir/downloads/XtraBackup/XtraBackup-1.5/Linux/binary/x86_64/xtrabackup-1.5.tar.gz# tar zxvfx ...
一周排行
  • Yeslab现任明教教主CCNPSecurityIPSv7.0第一天第一部分
    欢迎大家在各大网上购买我的新书< Cisco IPsec VPN 实战指南 > ...
  • zabbix系列一:服务端安装与汉化
    zabbix介绍(摘自百度百科):zabbix(音同 zbix)是一个基于WEB界面的提供 ...
  • SSRS2012报表基本结构与设置
    SSRS 2012 报表基本结构与设置整个报表设计雨区基础的结构可以分为"页眉( ...
  • 一.引言 在软件系统中,有时需要创建一个复杂对象,并且这个复杂对象由其各部分子对象通过一定的步骤组合而成.例如一个采购系统中,如果需要采购员去采购一批电脑时,在这个实际需求中,电脑就是一个复杂的对象,它是由CPU.主 ...
  • Dos命令------安全菜系列二
    Dos命令不区分大小写,DOS特殊命令应用技巧:1.向上箭头和向下箭头可以查看上一次的执行 ...
  • 文件操作 1. 检查文件是否存在 bool file_exists( string filename); 2. 打开和关闭文件 1resource fopen( string filename , string mo ...
  •  单体测试指南 1. 单体测试应该小并且快    理想情况下在每次代码签入之前都要执行下测试套件.测试快就可以降低开发周转时间.2. 单体测试必须完全自动化,不需要交互    测试套件通常经常执行,必须完全自动化才有 ...
  • 最近因为一个项目要求,需要开发实时视频编解码功能,准备采用 FFmpeg 以 x264 方式进行实时的视频编解码.Windows 以及 Linux 环境下的 FFmpeg 动态库.头文件等资源都非常容易获得,编译环境 ...
  • JQuery学习笔记-基本过滤选择器
    <!DOCTYPE html> <html> <head&g ...
  • VB API初级入门一.API是什么? 这个我本来不想说的,不过也许你知道其它人不知道,这里为了照顾一下新手,不得不说些废话,请大家谅解. Win32 API即为Microsoft 32位平台的应用程序编程接口(Ap ...