加快xtrabackup备份速度

   xtrabackup已家喻户晓,如果面临xtrabackup进行远程备份,时间大多花在网络传输中,受orzhou 大师 tar+lz4/pigz+ssh更快的数据传输 的启发,可以采用边压缩边传输的方式:

   线上xtrabackup采用stream备份方式,传送到远端机器;

   原先的流程是:磁盘读取-->打包-->传输-->落盘

   采用“边压缩边传输”的方式(最重要还是要选好工具),

加快xtrabackup备份速度

   流程分为: 磁盘读取,tar打包,压缩 ,传输,[解压缩 ,拆包 可选],落盘

   最理想的情况下是,几个关键步骤都能达到速度的顶峰,提升速度最慢的那个(解压缩过程),减少“木桶效应”的影响;更多压缩工具测试请参考:Gzip vs Bzip2 vs LZMA vs XZ vs LZ4 vs LZO

   xtrabackup远程备份可改为:

/usr/bin/innobackupex --slave-info --safe-slave-backup --user=mysqlbackup --password=xxx  --defaults-file=xxx --port=xxx --socket=xxx  --stream=tar /tmp/ 2>>/tmp/mysqlbackup.log |lz4 -B4|  ssh -c aes192-cbc -o "MACs umac-64@openssh.com"  mysqlbackup@xxx  "lz4 -d | tar -xiC /data/xxxxxxx"
unpigz -cd test.tgz  | pv | tar -xC /usr/local/src/
//简单记录下 pigz 的解压
-c, --stdout         Write all processed output to stdout (won't delete)
-d, --decompress     Decompress the compressed input
更多相关文章
  • Mysql增量备份Xtrabackup中包含两个工具: xtrabackup - 用于热备份innodb, xtradb表的工具,不能备份其他表(MYISAM表). innobackupex - 对xtrabackup封装的perl脚本,提供了myisam表备份的能力.(能进行整库和数据表备份).M ...
  • 三.XtraBackup流备份及压缩(1).流备份使用tar.gz压缩[root@localhost backup]# innobackupex-1.5.1 --user=root --password=xxxxx --stream=tar /mysql/ | gzip ->/backup/b ...
  • 转自:http://apps.hi.baidu.com/share/detail/30191931使用Xtrabackup备份MySQL数据库一.mysql的备份无非有下面几种方式1.mysqldump工具MySQL自己提供的mysqldump是把数据转换为SQL语句,这种方式的效率比较低,备份和还 ...
  • xtrabackup备份数据库
    xtrabackup备份数据库说明:    公司之前备份数据库用的是mysqldump,备份几十G的数据,再加上服务器繁忙,备份速度像蜗牛似的.现在选用xtrabackup备份大的数据库,备份效率高,恢复速度也快参考:    http://467754239.blog.51cto.com/48780 ...
  • 基于Xtrabackup备份mysqlMairaDB
    一.Xtrabackup1.Xtrabackup介绍    Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具2.Xtra ...
  • 使用xtrabackup进行备份Xtrabackup简介Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具.特点:(1)备份过程快速.可靠:(2)备份过程不会打断正在执行的事务:(3)能够基 ...
  •                                使用Xtrabackup备份工具MySQL自带工具的缺点1.mysqldump效率比较低,备份和还原的速度都很慢,任何数据插入和更新操作都会被挂起2.mysqlhotcopy  mysqlhotcopy 是专门针对myisam 数据表进行 ...
  • 1.下载xtrabackup(下载二进制版本免安装)# wget http://www.percona.com/redir/downloads/XtraBackup/XtraBackup-1.5/Linux/binary/x86_64/xtrabackup-1.5.tar.gz# tar zxvfx ...
一周排行
  • 笨的方法往往最有效----写在被评为推荐博客本来是酝酿了好几个题目的,按照预先规划的顺序来写一些文章,生活总是有惊喜发生的,比如昨天突然间被管理员通知博客被评为了“51cto推荐博客”,这一切来的挺意外的,必须主动去 ...
  • 1.SGSN(Serving GPRS Support Node   服务GPRS支持节点)   是GSM/GPRS/EDGE网络的CN(Core Network,核心网)的网元.它负责在其服务区内转发MS(Mobi ...
  • 由于某些目录和文件的特殊性,无法直接清除(包括安全模式下杀毒等一些方式杀毒),而需要某些特殊手段清除的带毒文件.以下所说的目录均包含其下面的子目录.  1.带毒文件在\Temporary Internet Files ...
  • Javascript也是面向对象的语言,但它是一种基于原型Prototype的语言,而不是基于类的语言.在Javascript中,类和对象看起来没有太多的区别. 通常,这样创建一个对象: function perso ...
  • 打算在Linux下用curses.h写一个图形界面,结果发现hello.c:1: fatal error: curses.h: No such file or directory上网搜索了一下,才发现是少安装了cur ...
  • 首先是SSL配置问题,Tomcat默认是用APR的东东来做SSL,结果网络上找了openssl等组件来生成keystore文件也没完成APR SSL的配置,好像用了不同的算法来生成证书文件,配置参数也有不同.折腾了老 ...
  • 最近公司在升级系统从XP到Win7的升级,发现许多用户在XP下是有共享文件夹的并设置了好多共享权限,如果升级到Win7这些共享权限就不见了,为了解决这个问题在MDT下做了这下面的这些设置.用户在XP执行MDT程序时会 ...
  •  from:[url]http://www.mybat.cn/viewthread.php?tid=1072[/url]  @echo off echo 请稍等......正在为你加硬盘分区............. ...
  • var jQuery = function () { return new jQuery.prototype.init(); } jQuery.prototype = { init: function () { }, ...
  •       Linux中的服务安装主要分为RPM .YUM .源代码的安装.脚本安装.apt安装. linux安装新的内核基本上采用源代码的安装,需要已安装好gcc编译工具.源代码的安装步骤基本上可以分为一下5步:1 ...