加快xtrabackup备份速度

   xtrabackup已家喻户晓,如果面临xtrabackup进行远程备份,时间大多花在网络传输中,受orzhou 大师 tar+lz4/pigz+ssh更快的数据传输 的启发,可以采用边压缩边传输的方式:

   线上xtrabackup采用stream备份方式,传送到远端机器;

   原先的流程是:磁盘读取-->打包-->传输-->落盘

   采用“边压缩边传输”的方式(最重要还是要选好工具),

加快xtrabackup备份速度

   流程分为: 磁盘读取,tar打包,压缩 ,传输,[解压缩 ,拆包 可选],落盘

   最理想的情况下是,几个关键步骤都能达到速度的顶峰,提升速度最慢的那个(解压缩过程),减少“木桶效应”的影响;更多压缩工具测试请参考:Gzip vs Bzip2 vs LZMA vs XZ vs LZ4 vs LZO

   xtrabackup远程备份可改为:

/usr/bin/innobackupex --slave-info --safe-slave-backup --user=mysqlbackup --password=xxx  --defaults-file=xxx --port=xxx --socket=xxx  --stream=tar /tmp/ 2>>/tmp/mysqlbackup.log |lz4 -B4|  ssh -c aes192-cbc -o "MACs [email protected]"  [email protected]  "lz4 -d | tar -xiC /data/xxxxxxx"
unpigz -cd test.tgz  | pv | tar -xC /usr/local/src/
//简单记录下 pigz 的解压
-c, --stdout         Write all processed output to stdout (won't delete)
-d, --decompress     Decompress the compressed input
更多相关文章
  • Mysql增量备份Xtrabackup中包含两个工具: xtrabackup - 用于热备份innodb, xtradb表的工具,不能备份其他表(MYISAM表). innobackupex - 对xtrabackup封装的perl脚本,提供了myisam表备份的能力.(能进行整库和数据表备份).M ...
  • 三.XtraBackup流备份及压缩(1).流备份使用tar.gz压缩[[email protected] backup]# innobackupex-1.5.1 --user=root --password=xxxxx --stream=tar /mysql/ | gzip ->/backup/b ...
  • 转自:http://apps.hi.baidu.com/share/detail/30191931使用Xtrabackup备份MySQL数据库一.mysql的备份无非有下面几种方式1.mysqldump工具MySQL自己提供的mysqldump是把数据转换为SQL语句,这种方式的效率比较低,备份和还 ...
  • xtrabackup备份数据库
    xtrabackup备份数据库说明:    公司之前备份数据库用的是mysqldump,备份几十G的数据,再加上服务器繁忙,备份速度像蜗牛似的.现在选用xtrabackup备份大的数据库,备份效率高,恢复速度也快参考:    http://467754239.blog.51cto.com/48780 ...
  • 基于Xtrabackup备份mysqlMairaDB
    一.Xtrabackup1.Xtrabackup介绍    Percona XtraBackup是开源免费的MySQL数据库热备份软件,它能对InnoDB和XtraDB存储引擎的数据库非阻塞地备份,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具2.Xtra ...
  • 使用xtrabackup进行备份Xtrabackup简介Xtrabackup是由percona提供的mysql数据库备份工具,据官方介绍,这也是世界上惟一一款开源的能够对innodb和xtradb数据库进行热备的工具.特点:(1)备份过程快速.可靠:(2)备份过程不会打断正在执行的事务:(3)能够基 ...
  •                                使用Xtrabackup备份工具MySQL自带工具的缺点1.mysqldump效率比较低,备份和还原的速度都很慢,任何数据插入和更新操作都会被挂起2.mysqlhotcopy  mysqlhotcopy 是专门针对myisam 数据表进行 ...
  • 1.下载xtrabackup(下载二进制版本免安装)# wget http://www.percona.com/redir/downloads/XtraBackup/XtraBackup-1.5/Linux/binary/x86_64/xtrabackup-1.5.tar.gz# tar zxvfx ...
一周排行
  • 参考开源项目PagerSlidingTabStrip做了一些小修改,比如设置Tab页平均铺满效果.字体变色等 微调的代码请 源码 下载关于我private void addTab(final int position ...
  • 前提配置:使用root登录修改配置文件:/etc/ssh/sshd_config,将其中三行的注释去掉,如下:然后重启ssh服务:service sshd restart.最后退出root,以下所有操作都在hadoo ...
  • 推荐一个常用的jquery加载效果插件: 要引入这个插件的css和js: 1 <link href="<%=path %>/css/showLoading.css" rel=&q ...
  • 已经把公司的sharepoint文档管理,lync都升级到2013了,也想顺便把exchange2010顺便也升级到2013其实从半年前就做过一次尝试了,当时技术各方面都做的差不多了,已经进入到准备大规模迁移邮箱的地 ...
  • 1.可以先试用top 命令查看是否有僵尸进程在红色表示的地方  如果zombie 大于"0"表示服务器当前存在僵尸进程2.如果存在僵尸进程,可以使用命令ps -A -ostat,ppid,pid, ...
  • 复习之EIGRP非等价负载均衡理解
     9 1 标签:EIGRP复习负载等价 [推送到技术圈] ...
  • 如果需要获取python test.py xx yy zz上面输入的xx yy zzpython可以使用sys.argv获取到命令行参数.sys.argv[0]表示代码本身文件路径,所有参数从1开始,一下例子说明,创 ...
  • 本节课的主要内容有:1.讲解SQLiteOpenHelper类2.实例演示如何在Android中进行表的增删改查课程下载地址:http://u.115.com/file/aq8ff0ae课件及源码下载地址:http: ...
  • 人人都有自己的梦想,都立志一定会在未来的某一天成为某某领域的第一人,都想成为后人的“巨人”.但当你经过了一段时间的工作,或者在某个领域熟悉一段时间之后,你会发现上帝没有给你比其它多的优待,你和其他人是一样的.虽然你有 ...
  • 在ANSI C中,对文件的操作分为两种方式,即流式文件操作和I/O文件操作,下面就分别介绍之.一.流式文件操作 这种方式的文件操作有一个重要的结构FILE,FILE在stdio.h中定义如下:typedef stru ...