加快xtrabackup备份速度

   xtrabackup已家喻户晓,如果面临xtrabackup进行远程备份,时间大多花在网络传输中,受orzhou 大师 tar+lz4/pigz+ssh更快的数据传输 的启发,可以采用边压缩边传输的方式:

   线上xtrabackup采用stream备份方式,传送到远端机器;

   原先的流程是:磁盘读取-->打包-->传输-->落盘

   采用“边压缩边传输”的方式(最重要还是要选好工具),

加快xtrabackup备份速度

   流程分为: 磁盘读取,tar打包,压缩 ,传输,[解压缩 ,拆包 可选],落盘

   最理想的情况下是,几个关键步骤都能达到速度的顶峰,提升速度最慢的那个(解压缩过程),减少“木桶效应”的影响;更多压缩工具测试请参考:Gzip vs Bzip2 vs LZMA vs XZ vs LZ4 vs LZO

   xtrabackup远程备份可改为:

/usr/bin/innobackupex --slave-info --safe-slave-backup --user=mysqlbackup --password=xxx  --defaults-file=xxx --port=xxx --socket=xxx  --stream=tar /tmp/ 2>>/tmp/mysqlbackup.log |lz4 -B4|  ssh -c aes192-cbc -o "MACs [email protected]"  [email protected]  "lz4 -d | tar -xiC /data/xxxxxxx"
unpigz -cd test.tgz  | pv | tar -xC /usr/local/src/
//简单记录下 pigz 的解压
-c, --stdout         Write all processed output to stdout (won't delete)
-d, --decompress     Decompress the compressed input
更多相关文章
  • Mysql增量备份Xtrabackup中包含两个工具: xtrabackup - 用于热备份innodb, xtradb表的工具,不能备份其他表(MYISAM表). innobackupex - 对xtrabackup封装的perl脚本,提供了myisam表备份的能力.(能进行整库和数据表备份).M ...
  • 三.XtraBackup流备份及压缩(1).流备份使用tar.gz压缩[[email protected] backup]# innobackupex-1.5.1 --user=root --password=xxxxx --stream=tar /mysql/ | gzip ->/backup/b ...
  • 转自:http://apps.hi.baidu.com/share/detail/30191931使用Xtrabackup备份MySQL数据库一.mysql的备份无非有下面几种方式1.mysqldump工具MySQL自己提供的mysqldump是把数据转换为SQL语句,这种方式的效率比较低,备份和还 ...
  • xtrabackup备份数据库
    xtrabackup备份数据库说明:    公司之前备份数据库用的是mysqldump,备份几十G的数据,再加上服务器繁忙,备份速度像蜗牛似的.现在选用xtrabackup备份大的数据库,备份效率高,恢复速度也快参考:    http://467754239.blog.51cto.com/48780 ...
  • 基于Xtrabackup备份mysqlMairaDB
    一.Xtrabackup1.Xtrabackup介绍    Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具2.Xtra ...
  • 使用xtrabackup进行备份Xtrabackup简介Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具.特点:(1)备份过程快速.可靠:(2)备份过程不会打断正在执行的事务:(3)能够基 ...
  •                                使用Xtrabackup备份工具MySQL自带工具的缺点1.mysqldump效率比较低,备份和还原的速度都很慢,任何数据插入和更新操作都会被挂起2.mysqlhotcopy  mysqlhotcopy 是专门针对myisam 数据表进行 ...
  • 1.下载xtrabackup(下载二进制版本免安装)# wget http://www.percona.com/redir/downloads/XtraBackup/XtraBackup-1.5/Linux/binary/x86_64/xtrabackup-1.5.tar.gz# tar zxvfx ...
一周排行
  • 定义 桥接模式(bridge):将抽象部分与实现部分分离,使它们都可以独立的变化. 从定义来看,抽象的简直看不了,那么通俗点讲,我们怎么理解桥接模式呢? 我们再举一个例子,假设你是一个地主,你有两个管家,两个工人,那 ...
  • 实现让vsftpd支持虚拟用户和用mysql对用户进行管理
     如何让vsftpd支持虚拟用户建立虚拟用户的帐号数据库文件建立虚拟用户的账户名.密码列表 ...
  • VMwareHorzionWorkspacePOC文档--安装2集成VIEW
    完成http://toneson.blog.51cto.com/4378039/12562 ...
  • freebsd9.2U盘安装
    freebsd U盘安装,freebsd专门有U盘安装的版本FreeBSD-9.2-REL ...
  • 测试环境ceph集群报错,内容如下:[[email protected] ceph]# ceph -s    cluster 3b37db44-f409-b3bb-75585d21adfe     health HE ...
  • 一.客户端发送的请求数量和服务端接收的数量不一致.原因可能是服务端并发请求数量设置的过小.二.利用GCD循环请求数据时小概率的引起程序崩溃.原因可能是两个线程同时对一个数据源进行了操作.三.绘制分时.k线时线条模糊, ...
  • 深入解析集合的相同与相似性正文       所谓集合的相似性就是说,对于集合A和集合B(当然,这两个集合是随意的),我们可通过某种方式来比较这两个集合是否具有一些相同的特征和联系,并从中得知这二者相似的百分比有多大. ...
  • 鉴于博客园缺乏教学管理能力,故移步到 www.t2code.com 博客主页:http://www.t2code.com/blog/index.shtml 我的博客: http://www.t2code.com/bl ...
  • 转自百度经验     在我们每个人的身体内部,都有一套排毒系统,只要把它利用好了,毒素就能顺利排出去.在这套排毒系统中,足太阳膀胱经的作用不可忽视.     膀胱经起于内眼角的睛明穴,止于足小趾尖的至阴穴,交于足少阳 ...
  • 基于CWMP(TR069)协议ACS服务器的搭建
    Linux上安装openacs Openacs的安装分为四大步: 1.安装jdk 2.安装 ...