注册 登录  
 加关注
查看详情
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

曾国藩的博客

 
 
 

日志

 
 

利用MariaDB Galera Cluster实现mariadb的多主复制  

2014-06-04 11:47:29|  分类: SQL/Oracle/Mysql |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |
http://www.it165.net/database/html/201401/5144.html

一、MariaDB Galera Cluster概要:

1.简述: MariaDB Galera Cluster 是一套在mysql innodb存储引擎上面实现multi-master及数据实时同步的系统架构,业务层面无需做读写分离工作,数据库读写压力都能按照既定的规则分发到 各个节点上去。在数据方面完全兼容 MariaDB 和 MySQL。 2.特性: (1).同步复制 Synchronous replication (2).Active-active multi-master 拓扑逻辑 (3).可对集群中任一节点进行数据读写 (4).自动成员控制,故障节点自动从集群中移除 (5).自动节点加入 (6).真正并行的复制,基于行级 (7).直接客户端连接,原生的 MySQL 接口 (8).每个节点都包含完整的数据副本 (9).多台数据库中数据同步由 wsrep 接口实现3.局限性 (1).目前的复制仅仅支持InnoDB存储引擎,任何写入其他引擎的表,包括mysql.*表将不会复制,但是DDL语句会被复制的,因此创建用户将会 被复制,但是insert into mysql.user…将不会被复制的. (2).DELETE操作不支持没有主键的表,没有主键的表在不同的节点顺序将不同,如果执行SELECT…LIMIT… 将出现不同的结果集. (3).在多主环境下LOCK/UNLOCK TABLES不支持,以及锁函数GET_LOCK(), RELEASE_LOCK()… (4).查询日志不能保存在表中。如果开启查询日志,只能保存到文件中。 (5).允许最大的事务大小由wsrep_max_ws_rows和wsrep_max_ws_size定义。任何大型操作将被拒绝。如大型的LOAD DATA操作。 (6).由于集群是乐观的并发控制,事务commit可能在该阶段中止。如果有两个事务向在集群中不同的节点向同一行写入并提交,失败的节点将中止。对 于集群级别的中止,集群返回死锁错误代码(Error: 1213 SQLSTATE: 40001 (ER_LOCK_DEADLOCK)). (7).XA事务不支持,由于在提交上可能回滚。 (8).整个集群的写入吞吐量是由最弱的节点限制,如果有一个节点变得缓慢,那么整个集群将是缓慢的。为了稳定的高性能要求,所有的节点应使用统一的硬 件。 (9).集群节点建议最少3个。 (10).如果DDL语句有问题将破坏集群。二、MariaDB Galera Cluster搭建演示1.环境描述

OS: red hat linux 6.0 64bit

MariaDB server1: 192.168.1.137
MariaDB server2: 192.168.1.138
MariaDB server3: 192.168.1.139
Galera SST user: sst
Galera SST password: sstpass123
MySQL root password: kongzhong
2. 配置mariadb的yum源
de>01.de>de>[root@client137 ~]de>de>#  vim /etc/yum.repos.d/mariadb.repode>
de>02.de>de>[root@client138 ~]de>de>#  vim /etc/yum.repos.d/mariadb.repode>
de>03.de>de>[root@client139 ~]de>de>#  vim /etc/yum.repos.d/mariadb.repode>
de>04.de>de># yum源的内容如下:de>
de>05.de>de>[mariadb]de>
de>06.de>de>name = MariaDBde>
de>08.de>de>enabled = 1de>
de>10.de>de>gpgcheck=1de>
de>11.de>de>[root@client137 ~]de>de>#  yum makecachede>
de>12.de>de>[root@client138 ~]de>de>#  yum makecachede>
de>13.de>de>[root@client139 ~]de>de>#  yum makecachede>
3.安装 MariaDB-Galera-server galera MariaDB-client
de>1.de>de>[root@client137 ~]de>de># yum -y install MariaDB-Galera-server galera MariaDB-clientde>
de>2.de>de>[root@client138 ~]de>de># yum -y install MariaDB-Galera-server galera MariaDB-clientde>
de>3.de>de>[root@client139 ~]de>de># yum -y install MariaDB-Galera-server galera MariaDB-clientde>
4.编辑每台机器的hosts文件,添加如下内容
de>1.de>de>[root@client137 ~]de>de># vim /etc/hostsde>
de>2.de>de>192.168.1.137 client137.kongzhong.com  client137de>
de>3.de>de>192.168.1.138 client138.kongzhong.com  client138de>
de>4.de>de>192.168.1.139 client139.kongzhong.com  client139de>
de>5.de>de># 启动测试一下de>
de>6.de>de>[root@client137 ~]de>de># /etc/init.d/mysql startde>
de>7.de>de>Starting MySQL.... SUCCESS!de>
de>8.de>de>[root@client137 ~]de>de># chkconfig mysql onde>
5.设置MariaDB的root密码,并做安全加固
de>01.de>de>[root@client137 ~]de>de>#  /usr/bin/mysql_secure_installationde>
de>02.de>de>[root@client137 ~]de>de>#  /usr/bin/mysql_secure_installationde>
de>03.de>de># 登陆数据库,授权用于集群同步的用户和密码de>
de>04.de>de>[root@client137 ~]de>de># mysql -uroot -pkongzhongde>
de>05.de>de>mysql&de>de>gtde>de>; GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123';de>
de>06.de>de>mysql&de>de>gtde>de>; GRANT ALL PRIVILEGES on *.* to sst@'%';de>
de>07.de>de>mysql&de>de>gtde>de>; FLUSH PRIVILEGES;de>
de>08.de>de>mysql&de>de>gtde>de>; quitde>
de>09.de>de># 创建并配置wsrep.cnf文件de>
de>10.de>de>[root@client137 ~]de>de># cp /usr/share/mysql/wsrep.cnf  /etc/my.cnf.d/de>
de>11.de>de>[root@client137 ~]de>de># vim /etc/my.cnf.d/wsrep.cnfde>
de>12.de>de># 只需要修改如下4行:de>
de>13.de>de>wsrep_provider=/usr/lib64/galera/libgalera_smm.sode>
de>14.de>de>wsrep_cluster_address=de>de>"gcomm://"de>
de>15.de>de>wsrep_sst_auth=sst:sstpass123de>
de>16.de>de>wsrep_sst_method=de>de>rsyncde>
de>17.de>de># 注意:de>
de>18.de>de>#    "gcomm://" 是特殊的地址,仅仅是Galera cluster初始化启动时候使用。de>
de>19.de>de>#    如果集群启动以后,我们关闭了第一个节点,那么再次启动的时候必须先修改,"gcomm://"为其他节点的集群地址,例如wsrep_cluster_address="gcomm://192.168.1.138:4567"de>
6.确认本机防火墙上开放了所需TCP 3306和TCP 4567的端口[也可以关闭防火墙]
de>01.de>de>[root@client137 ~]de>de># iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPTde>
de>02.de>de>[root@client137 ~]de>de># iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPTde>
de>03.de>de># 启动mariadb,查看3306和4567端口是否被监听de>
de>04.de>de>[root@client137 ~]de>de># /etc/init.d/mysql restartde>
de>05.de>de>[root@client137 ~]de>de># netstat -tulpn |grep -e 4567 -e 3306de>
de>06.de>de>tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      32363/mysqldde>
de>07.de>de>tcp        0      0 0.0.0.0:4567                0.0.0.0:*                   LISTEN      32363/mysqldde>
de>08.de>de># 这样一个节点就已经配置完成,其他节点的配置先给个思路,如下注释部分:de>
de>09.de>de># ********************* #de>
de>10.de>de>构造新节点的操作步骤如下:de>
de>11.de>de>1.按照上述1-6的步骤安装MariaDB和Galera libraryde>
de>12.de>de>2.除了第5步wsrep_cluster_address的配置稍有不同:de>
de>13.de>de>wsrep_cluster_address=de>de>"gcomm://Node-A-IP:4567"de>  de># 这里指向是指上一层的集群地址de>
de>14.de>de>3.重起MariaDBde>
de>15.de>de># ********************* #de>
7.新添加节点的配置如下:
de>01.de>de># 构建192.168.1.138节点de>
de>02.de>de>[root@client138 ~]de>de># /etc/init.d/mysql startde>
de>03.de>de>Starting MySQL.... SUCCESS!de>
de>04.de>de>[root@client138 ~]de>de>#   /usr/bin/mysql_secure_installationde>
de>05.de>de>[root@client138 ~]de>de># mysql -uroot -pkongzhongde>
de>06.de>de>mysql&de>de>gtde>de>; GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123';de>
de>07.de>de>mysql&de>de>gtde>de>; GRANT ALL PRIVILEGES on *.* to sst@'%';de>
de>08.de>de>mysql&de>de>gtde>de>; FLUSH PRIVILEGES;de>
de>09.de>de>mysql&de>de>gtde>de>; quitde>
de>10.de>de>[root@client138 ~]de>de># cp /usr/share/mysql/wsrep.cnf  /etc/my.cnf.d/de>
de>11.de>de>[root@client138 ~]de>de># vim /etc/my.cnf.d/wsrep.cnfde>
de>12.de>de># 只需要修改如下4行:de>
de>13.de>de>wsrep_provider=/usr/lib64/galera/libgalera_smm.sode>
de>14.de>de># 这里指定上一个集群节点的IP地址de>
de>15.de>de>wsrep_cluster_address=de>de>"gcomm://192.168.1.137:4567"de>
de>16.de>de># 指定用于同步的账号和密码de>
de>17.de>de>wsrep_sst_auth=sst:sstpass123de>
de>18.de>de>wsrep_sst_method=de>de>rsyncde>
de>19.de>de># 确认本机防火墙上开放了所需TCP 3306和TCP 4567的端口de>
de>20.de>de>[root@client138 ~]de>de># iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPTde>
de>21.de>de>[root@client138 ~]de>de># iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPTde>
de>22.de>de># 启动,监听de>
de>23.de>de>[root@client138 ~]de>de># /etc/init.d/mysql restartde>
de>24.de>de>[root@client138 ~]de>de># netstat -tulpn |grep -e 4567 -e 3306de>
de>25.de>de>tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      32363/mysqldde>
de>26.de>de>tcp        0      0 0.0.0.0:4567                0.0.0.0:*                   LISTEN      32363/mysqldde>
de>27.de>de># 构建192.168.1.139节点de>
de>28.de>de>[root@client139 ~]de>de># /etc/init.d/mysql startde>
de>29.de>de>Starting MySQL.... SUCCESS!de>
de>30.de>de>[root@client139 ~]de>de>#   /usr/bin/mysql_secure_installationde>
de>31.de>de>[root@client139 ~]de>de># mysql -uroot -pkongzhongde>
de>32.de>de>mysql&de>de>gtde>de>; GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123';de>
de>33.de>de>mysql&de>de>gtde>de>; GRANT ALL PRIVILEGES on *.* to sst@'%';de>
de>34.de>de>mysql&de>de>gtde>de>; FLUSH PRIVILEGES;de>
de>35.de>de>mysql&de>de>gtde>de>; quitde>
de>36.de>de>[root@client139 ~]de>de># cp /usr/share/mysql/wsrep.cnf  /etc/my.cnf.d/de>
de>37.de>de>[root@client139 ~]de>de># vim /etc/my.cnf.d/wsrep.cnfde>
de>38.de>de># 只需要修改如下4行:de>
de>39.de>de>wsrep_provider=/usr/lib64/galera/libgalera_smm.sode>
de>40.de>de># 这里指定上一个集群节点的IP地址de>
de>41.de>de>wsrep_cluster_address=de>de>"gcomm://192.168.1.138:4567"de>
de>42.de>de># 指定用于同步的账号和密码de>
de>43.de>de>wsrep_sst_method=de>de>rsyncde>
de>44.de>de># 确认本机防火墙上开放了所需TCP 3306和TCP 4567的端口de>
de>45.de>de>[root@client139 ~]de>de># iptables -A INPUT -i eth0 -p tcp --dport 3306 -j ACCEPTde>
de>46.de>de>[root@client139 ~]de>de># iptables -A INPUT -i eth0 -p tcp --dport 4567 -j ACCEPTde>
de>47.de>de># 启动,并查看监听de>
de>48.de>de>[root@client139 ~]de>de># /etc/init.d/mysql restartde>
de>49.de>de>[root@client139 ~]de>de># netstat -tulpn |grep -e 4567 -e 3306de>
de>50.de>de>tcp        0      0 0.0.0.0:3306                0.0.0.0:*                   LISTEN      32363/mysqldde>
de>51.de>de>tcp        0      0 0.0.0.0:4567                0.0.0.0:*                   LISTEN      32363/mysqldde>
8.以上配置完成后,

对于只有2个节点的Galera Cluster和其他集群软件一样,需要面对极端情况下的"脑裂"状态。

为了避免这种问题,Galera引入了"arbitrator(仲裁人)"。

"仲裁人"节点上没有数据,它在集群中的作用就是在集群发生分裂时进行仲裁,集群中可以有多个"仲裁人"节点。

"仲裁人"节点加入集群的方法如下:

 

de>1.de>de>[root@client137 ~]de>de># garbd -a gcomm://192.168.1.137:4567 -g my_wsrep_cluster -dde>
# 注释:参数说明: -d:以daemon模式运行 -a:集群地址 -g: 集群名称9.测试集群是否配置好参数:登陆数据库:查看如下几个参数:
de>01.de>de># 下面这个参数的显示是初始化数据库显示的情况de>
de>02.de>de>MariaDB [(none)]&de>de>gtde>de>; SHOW VARIABLES LIKE 'wsrep_cluster_address';de>
de>03.de>de>+-----------------------+----------+de>
de>04.de>de>| Variable_name         | Value    |de>
de>05.de>de>+-----------------------+----------+de>
de>06.de>de>| wsrep_cluster_address | gcomm:// |de>
de>07.de>de>+-----------------------+----------+de>
de>08.de>de>1 row de>de>inde> de>setde> de>(0.00 sec)de>
de>09.de>de># 如果配置了指向集群地址,上面那个参数值,应该是你指定集群的IP地址de>
de>10.de>de>MariaDB [kz]&de>de>gtde>de>; SHOW VARIABLES LIKE 'wsrep_cluster_address';de>
de>11.de>de>+-----------------------+----------------------------+de>
de>12.de>de>| Variable_name         | Value                      |de>
de>13.de>de>+-----------------------+----------------------------+de>
de>14.de>de>| wsrep_cluster_address | gcomm://192.168.1.139:4567 |de>
de>15.de>de>+-----------------------+----------------------------+de>
de>16.de>de>1 row de>de>inde> de>setde> de>(0.00 sec)de>
de>17.de>de># 此参数查看是否开启de>
de>18.de>de>MariaDB [kz]&de>de>gtde>de>; show status like 'wsrep_ready';de>
de>19.de>de>+---------------+-------+de>
de>20.de>de>| Variable_name | Value |de>
de>21.de>de>+---------------+-------+de>
de>22.de>de>| wsrep_ready   | ON    |de>
de>23.de>de>+---------------+-------+de>
de>24.de>de>1 row de>de>inde> de>setde> de>(0.00 sec)de>
de>25.de>de># 这个查看wsrep的相关参数de>
de>26.de>de>MariaDB [terry]&de>de>gtde>de>; show status like 'wsrep%';de>
de>27.de>de>+----------------------------+--------------------------------------+de>
de>28.de>de>| Variable_name              | Value                                |de>
de>29.de>de>+----------------------------+--------------------------------------+de>
de>30.de>de>| wsrep_local_state_uuid     | bb5b9e17-66c8-11e3-86ba-96854521d205 | uuid 集群唯一标记de>
de>31.de>de>| wsrep_protocol_version     | 4                                    |de>
de>32.de>de>| wsrep_last_committed       | 16                                   | sql 提交记录de>
de>33.de>de>| wsrep_replicated               | 4                                     | 随着复制发出的次数de>
de>34.de>de>| wsrep_replicated_bytes      | 692                                  | 数据复制发出的字节数de>
de>35.de>de>| wsrep_received                 | 18                                    | 数据复制接收次数de>
de>36.de>de>| wsrep_received_bytes        | 3070                                 | 数据复制接收的字节数de>
de>37.de>de>| wsrep_local_commits         | 4                                      | 本地执行的 sqlde>
de>38.de>de>| wsrep_local_cert_failures    | 0                                      | 本地失败事务de>
de>39.de>de>| wsrep_local_bf_aborts        | 0                                      |从执行事务过程被本地中断de>
de>40.de>de>| wsrep_local_replays           | 0                                      |de>
de>41.de>de>| wsrep_local_send_queue     | 0                                     | 本地发出的队列de>
de>42.de>de>| wsrep_local_send_queue_avg | 0.142857                       | 队列平均时间间隔de>
de>43.de>de>| wsrep_local_recv_queue     | 0                                      | 本地接收队列de>
de>44.de>de>| wsrep_local_recv_queue_avg | 0.000000                        | 本地接收时间间隔de>
de>45.de>de>| wsrep_flow_control_paused  | 0.000000                         |de>
de>46.de>de>| wsrep_flow_control_sent    | 0                                      |de>
de>47.de>de>| wsrep_flow_control_recv    | 0                                    |de>
de>48.de>de>| wsrep_cert_deps_distance   | 0.000000                          | 并发数量de>
de>49.de>de>| wsrep_apply_oooe           | 0.000000                             |de>
de>50.de>de>| wsrep_apply_oool           | 0.000000                             |de>
de>51.de>de>| wsrep_apply_window         | 1.000000                             |de>
de>52.de>de>| wsrep_commit_oooe          | 0.000000                             |de>
de>53.de>de>| wsrep_commit_oool          | 0.000000                             |de>
de>54.de>de>| wsrep_commit_window        | 1.000000                             |de>
de>55.de>de>| wsrep_local_state          | 4                                    |de>
de>56.de>de>| wsrep_local_state_comment  | Synced                               |de>
de>57.de>de>| wsrep_cert_index_size      | 0                                    |de>
de>58.de>de>| wsrep_causal_reads         | 0                                    |de>
de>59.de>de>| wsrep_incoming_addresses   | 192.168.1.137:3306    | 连接中的数据库de>
de>60.de>de>| wsrep_cluster_conf_id      | 18                                   |de>
de>61.de>de>| wsrep_cluster_size         | 2                                    | 集群成员个数de>
de>62.de>de>| wsrep_cluster_state_uuid   | bb5b9e17-66c8-11e3-86ba-96854521d205 | 集群 IDde>
de>63.de>de>| wsrep_cluster_status       | Primary                              | 主服务器de>
de>64.de>de>| wsrep_connected            | ON                                   | 当前是否连接中de>
de>65.de>de>| wsrep_local_index          | 1                                    |de>
de>66.de>de>| wsrep_provider_name        | Galera                               |de>
de>67.de>de>| wsrep_provider_vendor      | Codership Oy &de>de>ltde>de>;info@codership.com&de>de>gtde>de>;    |de>
de>68.de>de>| wsrep_provider_version     | 2.7(rXXXX)                           |de>
de>69.de>de>| wsrep_ready                | ON                                   | 插件是否应用中de>
de>70.de>de>+----------------------------+--------------------------------------+de>
de>71.de>de>40 rows de>de>inde> de>setde> de>(0.05 sec)de>
#以上详细参数注释:

监控状态参数说明:

(1).集群完整性检查:

wsrep_cluster_state_uuid:在集群所有节点的值应该是相同的,有不同值的节点,说明其没有连接入集群.

wsrep_cluster_conf_id:正常情况下所有节点上该值是一样的.如果值不同,说明该节点被临时"分区"了.当节点之间网络连接恢复的时候应该会恢复一样的值.

wsrep_cluster_size:如果这个值跟预期的节点数一致,则所有的集群节点已经连接.

wsrep_cluster_status:集群组成的状态.如果不为"Primary",说明出现"分区"或是"split-brain"状况.

(2).节点状态检查:

wsrep_ready: 该值为ON,则说明可以接受SQL负载.如果为Off,则需要检查wsrep_connected.

wsrep_connected: 如果该值为Off,且wsrep_ready的值也为Off,则说明该节点没有连接到集群.

wsrep_local_state_comment:如果wsrep_connected为On,但wsrep_ready为OFF,则可以从该项查看原因.

(3).复制健康检查:

wsrep_flow_control_paused:表示复制停止了多长时间.即表明集群因为Slave延迟而慢的程度.值为0~1,越靠近0越好,值为1表示复制完全停止.可优化wsrep_slave_threads的值来改善.

wsrep_cert_deps_distance:有多少事务可以并行应用处理.wsrep_slave_threads设置的值不应该高出该值太多.

wsrep_flow_control_sent:表示该节点已经停止复制了多少次.

wsrep_local_recv_queue_avg:表示slave事务队列的平均长度.slave瓶颈的预兆.

最慢的节点的wsrep_flow_control_sent和wsrep_local_recv_queue_avg这两个值最高.这两个值较低的话,相对更好.

(4).检测慢网络问题:

wsrep_local_send_queue_avg:网络瓶颈的预兆.如果这个值比较高的话,可能存在网络瓶

(5).冲突或死锁的数目:

wsrep_last_committed:最后提交的事务数目

wsrep_local_cert_failures和wsrep_local_bf_aborts:回滚,检测到的冲突数目10.测试数据同步,一致等 问题,这个测试不演示,概述一下大概思路: (1).创建一个数据库,看是否同步 (2).数据库里分别创建一个innodb和myisam引擎的表,看是否同步 (3).分别往这两张表里插入数据,看是否同步,除innodb引擎数据可以同步,其余引擎是不同步 (4).在任意一节点插入,删除数据,看是否同步11.在上面galera集群搭建完成后,我们可以借助于haproxy和lvs来实现mysql数据库 集群之间的负载这里就不演示,可以自己配置试试!
  评论这张
 
阅读(675)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2018