加快xtrabackup备份速度

   xtrabackup已家喻户晓,如果面临xtrabackup进行远程备份,时间大多花在网络传输中,受orzhou 大师 tar+lz4/pigz+ssh更快的数据传输 的启发,可以采用边压缩边传输的方式:

   线上xtrabackup采用stream备份方式,传送到远端机器;

   原先的流程是:磁盘读取-->打包-->传输-->落盘

   采用“边压缩边传输”的方式(最重要还是要选好工具),

加快xtrabackup备份速度

   流程分为: 磁盘读取,tar打包,压缩 ,传输,[解压缩 ,拆包 可选],落盘

   最理想的情况下是,几个关键步骤都能达到速度的顶峰,提升速度最慢的那个(解压缩过程),减少“木桶效应”的影响;更多压缩工具测试请参考:Gzip vs Bzip2 vs LZMA vs XZ vs LZ4 vs LZO

   xtrabackup远程备份可改为:

/usr/bin/innobackupex --slave-info --safe-slave-backup --user=mysqlbackup --password=xxx  --defaults-file=xxx --port=xxx --socket=xxx  --stream=tar /tmp/ 2>>/tmp/mysqlbackup.log |lz4 -B4|  ssh -c aes192-cbc -o "MACs [email protected]"  [email protected]  "lz4 -d | tar -xiC /data/xxxxxxx"
unpigz -cd test.tgz  | pv | tar -xC /usr/local/src/
//简单记录下 pigz 的解压
-c, --stdout         Write all processed output to stdout (won't delete)
-d, --decompress     Decompress the compressed input
更多相关文章
  • Mysql增量备份Xtrabackup中包含两个工具: xtrabackup - 用于热备份innodb, xtradb表的工具,不能备份其他表(MYISAM表). innobackupex - 对xtrabackup封装的perl脚本,提供了myisam表备份的能力.(能进行整库和数据表备份).M ...
  • 三.XtraBackup流备份及压缩(1).流备份使用tar.gz压缩[[email protected] backup]# innobackupex-1.5.1 --user=root --password=xxxxx --stream=tar /mysql/ | gzip ->/backup/b ...
  • 转自:http://apps.hi.baidu.com/share/detail/30191931使用Xtrabackup备份MySQL数据库一.mysql的备份无非有下面几种方式1.mysqldump工具MySQL自己提供的mysqldump是把数据转换为SQL语句,这种方式的效率比较低,备份和还 ...
  • xtrabackup备份数据库
    xtrabackup备份数据库说明:    公司之前备份数据库用的是mysqldump,备份几十G的数据,再加上服务器繁忙,备份速度像蜗牛似的.现在选用xtrabackup备份大的数据库,备份效率高,恢复速度也快参考:    http://467754239.blog.51cto.com/48780 ...
  • 基于Xtrabackup备份mysqlMairaDB
    一.Xtrabackup1.Xtrabackup介绍    Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具2.Xtra ...
  • 使用xtrabackup进行备份Xtrabackup简介Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具.特点:(1)备份过程快速.可靠:(2)备份过程不会打断正在执行的事务:(3)能够基 ...
  •                                使用Xtrabackup备份工具MySQL自带工具的缺点1.mysqldump效率比较低,备份和还原的速度都很慢,任何数据插入和更新操作都会被挂起2.mysqlhotcopy  mysqlhotcopy 是专门针对myisam 数据表进行 ...
  • 1.下载xtrabackup(下载二进制版本免安装)# wget http://www.percona.com/redir/downloads/XtraBackup/XtraBackup-1.5/Linux/binary/x86_64/xtrabackup-1.5.tar.gz# tar zxvfx ...
一周排行
  • 老男孩教育运维班2016春节期末大型集群架构搭建说明
    只有苦练功夫,才能所向披靡(秒杀其它竞争者),老男孩教育运维班你值得拥有!27,28,29 ...
  • View Client不能登录View桌面而手机可以用问:海哥,问个问题啊,我在做vmware桌面虚拟化的时候,创建桌面迟后,出现这个报错..我手动去打开虚拟机也是报资源池不够可是我的资源池还有8g啊怎么不够?请问是 ...
  • 1.5.reverse:将现有顺序逆向 
  • RIP大实验背景:实验拓扑图如下: 2.开机后把下面的配置在全局模式下右键鼠标刷到R2里:key 1key-string ciscoip address 2.2.2.2 255.255.255.255ip addre ...
  • 扩展的GROUP BY所谓的扩展的GROUP BY就是使用了分析函数rollup() 和 cube().rollup():使分组结果中包含小计及总计信息,并可以传入多列字段 cube():对做为参数传入的每一列都进行 ...
  • 一般情况下新增字段首选现在数据库更新,然后再从数据库更新模型 第二选择是从模板添加字段更新数据库(面临删除所有数据可能,慎用) 第三是没有T4模板的前提下再模型完成操作然后修改model类防止model类不能同步更新 ...
  • 这两天,一个少年的名字让网络界为之震惊.王少伟,内蒙古自治区呼和浩特市的一名高二学生,他因攻击了上千家网站近日被警方抓获. 家里的编程书有1.5米高这个18岁的少年看起来很平常.当办案民警问到他的姓名.年龄时,他显得 ...
  • Notepad++实用插件分享
     不是迫不得已,一般不用重量级IDE, 像Eclipse/ZendStudio, 在Lin ...
  • 摘要:由于最近在做重构的项目,所以对重构又重新进行了一遍学习和整理,对31天重构最早接触是在2009年10月份,由于当时没有 订阅Sean Chambers的blog,所以是在国外的社区上闲逛的时候链接过去的.记得当 ...
  • 山莓Pi:小电脑有大梦想让孩子们再次喜欢上编代码
     假 如你是个对自己的喜好了如指掌的硬件黑客,那么你可能已经听说过山莓Pi,甚至忍不住已经 ...