加快xtrabackup备份速度

   xtrabackup已家喻户晓,如果面临xtrabackup进行远程备份,时间大多花在网络传输中,受orzhou 大师 tar+lz4/pigz+ssh更快的数据传输 的启发,可以采用边压缩边传输的方式:

   线上xtrabackup采用stream备份方式,传送到远端机器;

   原先的流程是:磁盘读取-->打包-->传输-->落盘

   采用“边压缩边传输”的方式(最重要还是要选好工具),

加快xtrabackup备份速度

   流程分为: 磁盘读取,tar打包,压缩 ,传输,[解压缩 ,拆包 可选],落盘

   最理想的情况下是,几个关键步骤都能达到速度的顶峰,提升速度最慢的那个(解压缩过程),减少“木桶效应”的影响;更多压缩工具测试请参考:Gzip vs Bzip2 vs LZMA vs XZ vs LZ4 vs LZO

   xtrabackup远程备份可改为:

/usr/bin/innobackupex --slave-info --safe-slave-backup --user=mysqlbackup --password=xxx  --defaults-file=xxx --port=xxx --socket=xxx  --stream=tar /tmp/ 2>>/tmp/mysqlbackup.log |lz4 -B4|  ssh -c aes192-cbc -o "MACs [email protected]"  [email protected]  "lz4 -d | tar -xiC /data/xxxxxxx"
unpigz -cd test.tgz  | pv | tar -xC /usr/local/src/
//简单记录下 pigz 的解压
-c, --stdout         Write all processed output to stdout (won't delete)
-d, --decompress     Decompress the compressed input
更多相关文章
  • Mysql增量备份Xtrabackup中包含两个工具: xtrabackup - 用于热备份innodb, xtradb表的工具,不能备份其他表(MYISAM表). innobackupex - 对xtrabackup封装的perl脚本,提供了myisam表备份的能力.(能进行整库和数据表备份).M ...
  • 三.XtraBackup流备份及压缩(1).流备份使用tar.gz压缩[[email protected] backup]# innobackupex-1.5.1 --user=root --password=xxxxx --stream=tar /mysql/ | gzip ->/backup/b ...
  • 转自:http://apps.hi.baidu.com/share/detail/30191931使用Xtrabackup备份MySQL数据库一.mysql的备份无非有下面几种方式1.mysqldump工具MySQL自己提供的mysqldump是把数据转换为SQL语句,这种方式的效率比较低,备份和还 ...
  • xtrabackup备份数据库
    xtrabackup备份数据库说明:    公司之前备份数据库用的是mysqldump,备份几十G的数据,再加上服务器繁忙,备份速度像蜗牛似的.现在选用xtrabackup备份大的数据库,备份效率高,恢复速度也快参考:    http://467754239.blog.51cto.com/48780 ...
  • 基于Xtrabackup备份mysqlMairaDB
    一.Xtrabackup1.Xtrabackup介绍    Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具2.Xtra ...
  • 使用xtrabackup进行备份Xtrabackup简介Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具.特点:(1)备份过程快速.可靠:(2)备份过程不会打断正在执行的事务:(3)能够基 ...
  •                                使用Xtrabackup备份工具MySQL自带工具的缺点1.mysqldump效率比较低,备份和还原的速度都很慢,任何数据插入和更新操作都会被挂起2.mysqlhotcopy  mysqlhotcopy 是专门针对myisam 数据表进行 ...
  • 1.下载xtrabackup(下载二进制版本免安装)# wget http://www.percona.com/redir/downloads/XtraBackup/XtraBackup-1.5/Linux/binary/x86_64/xtrabackup-1.5.tar.gz# tar zxvfx ...
一周排行
  • 超时调用需要使用window.setTimeout(code,millisec)方法 它接受两个参数:要执行的代码和以毫秒表示的时间(即在执行代码前需要等待多少毫秒).其中第一个参数可以是一个包含JS代码的字符串(就 ...
  • 转:线程和进程的区别
    作者: 阮一峰 日期: 2013年4月24日 进程(process)和线程(thread) ...
  • 网络线综合布线接地注意事项说到综合布线接地,许多读者朋友就感到迷惑了,他们会有以下疑问:怎么平常进行的双绞线布线没有接地啊?从这一点就可以看出,许多用户,甚至是专业的网管员都不清楚网络布线中的接地,对其重要性更是一无 ...
  •  我与51CTO的故事    上大二时一个朋友推荐让我访问51cto,那时候确实对这个网站很着迷,在这里我认识了很多的朋友,虽然绝大多数未曾谋面,但是我从他们的专业的文章中学到了很多知识,也从他们的工作经验分享中学到 ...
  • 利用ACS实现AAA服务的搭建
    一.原理:         基于 Windows 的思科安全访问控制服务器(ACS) 思科 ...
  • 于本周末在家里的两台电脑上用Vmware+Redhat As6 + hadoop-0.21.0上搭建了一个3节点的Hadoop集群,虽说是原来已经搭建过类似的集群了,也跑过JavaAPI来操作HDFS与Map/red ...
  • 国内领导是这样泡女下属的要说当领导的如何泡到女下属这事应该有很多方式,我今天就说其中最典型的一种手法,就这种手法一般的时候最好使. 某行政单位有一漂亮的女公务员,年龄在35岁到40岁之间,一把手瞄上了许久,但是,只是 ...
  • 很多时候,灯下黑!上面的Leader太强势,往往是造成下面的团队思考力不强,老子太牛,往往是儿子并不出色,            诸葛亮太亮,下面太黑,所以,他走了,蜀国就灭了!马云说:大树底下难长草.上面越亮,下面 ...
  • 级别: 中级苏 春艳, 在读研究生杨 小华 ([email protected]), 在读研究生2007 年 5 月 14 日本文对中断系统进行了全面的分析与探讨,主要包括中断控制器.中断分类.中断亲和力. ...
  • 关于Oracle性能分析中自动工作量资料档案库(AWR)的管理Oracle10个/11g的新特点
     <Oracle大型数据库系统在AIX/UNIX上的实战详解>集中讨论23:  ...