Question

浅谈MySQL数据库备份的几种方法

Answer 1

mysql常见的备份方式有:mysqldump、mysqlhotcopy、BACKUP TABLE 、SELECT
INTOOUTFILE，又或者备份二进制日志（binlog），还可以是直接拷贝数据文件和相关的配置文件。MyISAM表是保存成文件的形式，因此相对比较容易备份，上面提到的几种方法都可以使用。Innodb 所有的表都保存在同一个数据文件 ibdata1中（也可能是多个文件，或者是独立的表空间文件），相对来说比较不好备份，免费的方案可以是拷贝数据文件、备份
binlog，或者用mysqldump。
1.mysqldump备份
mysqldump 是采用SQL级别的备份机制，它将数据表导成 SQL 脚本文件，在不同的 MySQL 版本之间升级时相对比较合适，这也是最常用的备份方法。
示例:mysqldump -uroot -p database table > /home/jobs/back.sql
mysqldump也可做增量备份,mysqldump相关参数网上较多,就不在此一一赘述了
2.mysqlhotcopy备份【如果是企业版的mysql可以用mysqlbackup当然是要收费的】
mysqlhotcopy 是一个 PERL 程序。它使用 LOCK TABLES、FLUSH
TABLES 和 cp 或 scp
来快速备份数据库。它是备份数据库或单个表的最快的途径，但它只能运行在数据库文件（包括数据表定义文件、数据文件、索引文件）所在的机器上。
mysqlhotcopy 只能用于备份 MyISAM，并且只能运行在 类Unix 和 NetWare 系统上。
mysqlhotcopy 支持一次性拷贝多个数据库，同时还支持正则表达。
示例： root#/usr/local/mysql/bin/mysqlhotcopy -h=localhost -u=root
-p=123456 database /tmp (把数据库目录 database 拷贝到 /tmp
下)root#/usr/local/mysql/bin/mysqlhotcopy -h=localhost -u=root -p=123456
db_name_1 ... db_name_n /tmproot#/usr/local/mysql/bin/mysqlhotcopy
-h=localhost -u=root -p=123456 db_name./regex/
/tmp更详细的使用方法请查看手册，或者调用下面的命令来查看 mysqlhotcopy 的帮助：
perldoc /usr/local/mysql/bin/mysqlhotcopy注意，想要使用 mysqlhotcopy，必须要有
SELECT、RELOAD(要执行 FLUSH TABLES) 权限，并且还必须要能够有读取 datadir/db_name 目录的权限。
还原mysqlhotcopy 备份出来的是整个数据库目录，使用时可以直接拷贝到 mysqld
指定的 datadir (在这里是 /usr/local/mysql/data/)目录下即可，同时要注意权限的问题，如下例： root#cp
-rf db_name /usr/local/mysql/data/root#chown -R nobody:nobody
/usr/local/mysql/data/ (将 db_name 目录的属主改成 mysqld 运行用户)
3.SQL 语法备份
3.1 备份BACKUP TABLE 语法其实和 mysqlhotcopy
的工作原理差不多，都是锁表，然后拷贝数据文件。它能实现在线备份，但是效果不理想，因此不推荐使用。它只拷贝表结构文件和数据文件，不同时拷贝索引文
件，因此恢复时比较慢。例子： BACK TABLE tbl_name TO ‘/tmp/db_name/‘;注意，必须要有 FILE
权限才能执行本SQL，并且目录 /tmp/db_name/ 必须能被 mysqld 用户可写，导出的文件不能覆盖已经存在的文件，以避免安全问题。
恢复用 BACKUP TABLE 方法备份出来的文件，可以运行 RESTORE TABLE 语句来恢复数据表。例子： RESTORE TABLE FROM ‘/tmp/db_name/‘;权限要求类似上面所述。
3.2 SELECT INTO OUTFILE 则是把数据导出来成为普通的文本文件，可以自定义字段间隔的方式，方便处理这些数据。例子：
SELECT INTO OUTFILE ‘/tmp/db_name/tbl_name.txt‘ FROM tbl_name;注意，必须要有
FILE 权限才能执行本SQL，并且文件 /tmp/db_name/tbl_name.txt 必须能被 mysqld
用户可写，导出的文件不能覆盖已经存在的文件，以避免安全问题。
用 SELECT INTO OUTFILE 方法备份出来的文件，可以运行 LOAD DATA INFILE 语句来恢复数据表。例子： LOAD
DATA INFILE ‘/tmp/db_name/tbl_name.txt‘ INTO TABLE
tbl_name;权限要求类似上面所述。倒入数据之前，数据表要已经存在才行。如果担心数据会发生重复，可以增加 REPLACE
关键字来替换已有记录或者用 IGNORE 关键字来忽略他们。
4.启用二进制日志(binlog)
采用 binlog 的方法相对来说更灵活，省心省力，而且还可以支持增量备份。
启用 binlog 时必须要重启 mysqld。首先，关闭 mysqld，打开 my.cnf，加入以下几行：
server-id = 1
log-bin = binlog
log-bin-index = binlog.index
然后启动 mysqld 就可以了。运行过程中会产生 binlog.000001 以及 binlog.index，前面的文件是 mysqld
记录所有对数据的更新操作，后面的文件则是所有 binlog 的索引，都不能轻易删除。关于 binlog 的信息请查看手册。
需要备份时，可以先执行一下 SQL 语句，让 mysqld 终止对当前 binlog
的写入，就可以把文件直接备份，这样的话就能达到增量备份的目的了： FLUSH LOGS;如果是备份复制系统中的从服务器，还应该备份
master.info 和 relay-log.info 文件。
备份出来的 binlog 文件可以用 MySQL 提供的工具 mysqlbinlog 来查看，如：
/usr/local/mysql/bin/mysqlbinlog /tmp/binlog.000001该工具允许你显示指定的数据库下的所有
SQL 语句，并且还可以限定时间范围，相当的方便，详细的请查看手册。
恢复时，可以采用类似以下语句来做到： /usr/local/mysql/bin/mysqlbinlog /tmp/binlog.000001
| mysql -uyejr -pyejr db_name把 mysqlbinlog 输出的 SQL 语句直接作为输入来执行它。
如果你有空闲的机器，不妨采用这种方式来备份。由于作为 slave 的机器性能要求相对不是那么高，因此成本低，用低成本就能实现增量备份而且还能分担一部分数据查询压力，何乐而不为呢？

具体方案：

一、主从同步

可以参考http://kerry.blog.51cto.com/172631/110206

二、增量备份：

每天中午12点和晚上12点做一次全备，每隔一小时备份binlog,也就是增量备份，具体操作如下：

Linux下开启binlog

/etc/my.cnf中的mysqld部分加入:

[mysqld]

log-bin=../logs/mysql-bin

max-binlog-size=50M



windows下开启binlog

%mysql%/my.ini中的mysqld部分加入:

[mysqld]

log-bin =../logs/mysql-bin

max-binlog-size=50M



完整备份脚本 （仅提供部分作参考）

如果数据库数据量比较大，可以一天全备一次, 再每隔一小时增量备份一次；

#!/bin/sh

# mysql data backup script #

# use mysqldump --help,get more detail.

BakDir=/backup/mysql

LogFile=/backup/mysql/mysqlbak.log

DATE=`date +%Y%m%d`

echo " " >> $LogFile

echo " " >> $LogFile

echo "-------------------------------------------" >> $LogFile

echo $(date +"%y-%m-%d %H:%M:%S") >> $LogFile

echo "--------------------------" >> $LogFile

cd $BakDir

DumpFile=$DATE.sql

GZDumpFile=$DATE.sql.tgz

mysqldump --quick --all-databases --flush-logs

--delete-master-logs --lock-all-tables

> $DumpFile

echo "Dump Done" >> $LogFile

tar czvf $GZDumpFile $DumpFile >> $LogFile 2>&1

echo "[$GZDumpFile]Backup Success!" >> $LogFile

rm -f $DumpFile

#delete previous daily backup files:采用增量备份的文件,如果完整备份后,则删除增量备份的文件.

cd $BakDir/daily

rm -f *

cd $BakDir

echo "Backup Done!"

echo "please Check $BakDir Directory!"

echo "copy it to your local disk or ftp to somewhere !!!"

ls -al $BakDir

上面的脚本把mysql备份到本地的/backup/mysql目录,增量备份的文件放在/backup/mysql/daily目录下.

增量备份

增量备份的数据量比较小,但是要在完整备份的基础上操作

增量备份使用bin log,脚本如下:

#!/bin/sh

# mysql binlog backup script

/usr/bin/mysqladmin flush-logs

DATADIR=/var/lib/mysql

BAKDIR=/backup/mysql/daily

###如果你做了特殊设置,请修改此处或者修改应用此变量的行:缺省取机器名,mysql缺省也是取机器名

HOSTNAME=`uname -n`

cd $DATADIR

FILELIST=`cat $HOSTNAME-bin.index`

##计算行数,也就是文件数

COUNTER=0

for file in $FILELIST

do

COUNTER=`expr $COUNTER + 1 `

done

NextNum=0

for file in $FILELIST

do

base=`basename $file`

NextNum=`expr $NextNum + 1`

if [ $NextNum -eq $COUNTER ]

then

echo "skip lastest"

else

dest=$BAKDIR/$base

if(test -e $dest)

then

echo "skip exist $base"

else

echo "copying $base"

cp $base $BAKDIR

fi

fi

done



echo "backup mysql binlog ok"

增量备份脚本是备份前flush-logs,mysql会自动把内存中的日志放到文件里,然后生成一个新的日志文件,所以我们只需要备份前面的几个即可,也就是不备份最后一个.

因为从上次备份到本次备份也可能会有多个日志文件生成,所以要检测文件,如果已经备份过,就不用备份了.

数据还原：

先还原最近的完全备份数据：

mysql -hhostname -uusername -ppassword databasename < backupfile.sql



再还原binlog ：

./mysqlbinlog --start-date="2016-04-10 17:30:05" --stop-date="2016-04-10 17:41:28" /usr/local/mysql/data/mysql-bin.000002 |mysql -u root -p123456



5.拷贝文件
直接备份数据文件相较前几种方法，备份数据文件最为直接、快速、方便，缺点是基本上不能实现增量备份。
为了保证数据的一致性，需要在靠背文件前，执行以下 SQL 语句： FLUSH TABLES WITH READ
LOCK;也就是把内存中的数据都刷新到磁盘中，同时锁定数据表，以保证拷贝过程中不会有新的数据写入。这种方法备份出来的数据恢复也很简单，直接拷贝回
原来的数据库目录下即可。
注意，对于 Innodb 类型表来说，还需要备份其日志文件，即 ib_logfile* 文件。因为当 Innodb 表损坏时，就可以依靠这些日志文件来恢复。
6.利用rsync备份
rsync作为同步工具也可以用来做备份,但要配置服务器端和客户端
示例rsync -vzrtopg --progress --delete root@192.168.1.3::root /tmp/
相关rsync配置可参考http://fanqiang.chinaunix.net/a6/b7/20010908/1305001258.html
缺点是rsync是根据文件修改时间做的增量备份,所以备份数据库都是全备,并且配置比较麻烦.





7.利用BigDump工具导入超大MySQL数据库备份文件

常用的 MySQL 数据库恢复工具（也能进行备份操作）是 phpMyAdmin，这是一个开源、免费的工具，大多数主机商（例如 Hawkhost）都会免费提供 。相信很多站长也用过 phpMyAdmin 来进行网站数据库的备份和恢复，确实很方便，并且有多国语言界面。不过，有一种情况可能你还没碰到，就是当你的数据库体积比较大时，例如
SQL 备份文件大于 2MB，甚至大于 10MB，这个时候如果你通过 phpMyAdmin 来进行数据库的恢复，就会出错，显示如下的提示：



这是因为你的 SQL 文件体积太大，超过了 phpMyAdmin 的处理能力，这种情况在网络速度比较慢的情况下尤为突出，例如站长在周末晚上8点这个网络拥挤的时段尝试使用 phpMyAdmin 来恢复大型 MySQL 数据库备份，就容易遇到这种问题。

很显然 phpMyAdmin 只适用于恢复比较小的 SQL 文件备份。对于超大 MySQL 数据库备份的恢复，你必须换一个专用的恢复工具，那就是：BigDump！工具下载地址http://www.jb51.net/codes/37147.html







8.使用bacula(www.bacula.org)进行备份
zZ

bacula采用模块化设计，采用c/s构架，理论上可以把任意n台主机的资料备份到任意n台
中，而你不需要在每台机器上都写一个配置文件控制他们运作，所有主要的工作都在一
台director上控制。登陆上director你就可以知道什么备份正在运行，什么备份成功了
，什么备份失败了，所有的log也会集中到你指定的地方，让管理工作更简单一点。恢复
的时候也很简单，简单运行几个命令你就可以把指定的备份恢复。支持完全备份，差异
备份，增量备份；支持把备份写到硬盘文件中，也支持写到磁带中。支持平台相当多，
设置包括win平台（备份win，还不支持备份到win）。当然也有一些缺点，比如对并发备
份支持未经彻底测试，作者宣称最好不要尝试，除非你自己经过测试。还有一点就是文
档中没有一个quick start。。文档太详细了点，没有点耐心读不完。。
1,前期准备
bacula有三个模块组成。一个是Director，用于指挥整个系统运行，job schedule,通知
另外两个模块工作。一个是Storage Daemon，它是存储端，负责把网络中传来的数据备
份到本机,恢复的时候负责把数据传出去。最后一个是File Daemon，备份时把文件传出
，恢复时接受数据并恢复。其实上面的三个模块并不能让bacula运行，另外一个模块是
数据库模块。这个模块可以通过SQLite（编译进bacula），也可以使用MySql和PostgreS
ql,作者推荐的是mysql。还需要一些第三方库才能编译：GZIP和Readline。文档中没有
说明，但其实还需要另外一个软件才能保证正常运行：ntp。因为差异备份和增量备份都
依赖于文件修改时间来决定是否备份。单机备份问题不大，网络备份就需要考虑各个主
机的时间差异了。所以我推荐所有主机每天运行两次ntpdate来调准时间。如果你在sjtu
网络里面，可以使用dns.sjtu.edu.cn来调校时间。
如果你使用的是磁带机备份，还需要检查一下你的磁带机是否被支持。而且最好去阅读
文档中的Understanding Pools, Volumes and Labels一节。否则配置的时候你会搞得晕
乎乎的。
2，编译
编译过程很简单，文档也很详细，就不具体介绍了。注意一点是被备份机器上可以使用-
-enable-client-only编译。
3，数据库建立
下面说说mysql的建立过程。首先在代码根目录中
cd src/cats/
./grant_mysql_privileges
./create_mysql_database
./make_mysql_tables
如果mysql不是在本机上，可以增加-h参数指定。默认采用空密码的root用户，可以用-p
参数使其采用密码验证。如果要采用其它用户就只能修改脚本了，很简单的。
默认建立的bacula用户，而且是空密码。推荐还是修改密码。
bacula可以使用任意多的数据库，也就是说你可以使用两个数据库，然后再让这两个数
据库互相备份。
4，运行File Daemon(fd)
配置前先说明一点需要注意的,配置中指定主机地址时，最好使用ip，我配置时使用主机
名貌似不可以。。而且要是对外的ip，用127.0.0.1不行
fd运行在被备份主机上。配置相当简单，指定哪个Director可以运行调度它，密码是什
么，fd的名字，工作目录，log往哪里发就可以了。修改修改标配就可以了。
5，运行Storage Daemon(sd)
sd运行在接受备份的机器上。配置也相当简单，只是比fd多出了一个device用于指定使
用什么硬件备份数据。可以把多个数据备份到一个device，如果是磁带机备份bacula在
恢复的时候会告诉你要使用哪个磁带。因为我使用的是文件备份的模式，所以就给每个
备份配置一个device，把不同的备份放到不同目录去，下面是一个简单文件备份device
配置
Device {
Name = dbdev
Media Type = File #这个随便写，但是在配置Director中的Storage时，必须写一
样的
Archive Device = /var/bak/db#备份到哪个目录，必须存在
LabelMedia = yes; # 自动label
Random Access = Yes;
AutomaticMount = yes;