您的位置: 首页  >  文章  >  Amoeba实现mysql主从读写分离

Amoeba实现mysql主从读写分离

分类: 文章 • 2024-03-06 17:13:02
一直想找一个工具，能很好的实现mysql主从的读写分离架构，曾经试用过mysql-proxy发现lua用起来很不爽，尤其是不懂lua脚本，突然发现了Amoeba这个项目，试用了下，感觉还不错，写出文档，希望对大家有帮助！

一、Amoeba 是什么

Amoeba(变形虫)项目，专注 分布式数据库 proxy 开发。座落与Client、DB Server(s)之间。对客户端透明。具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库、可并发请求多台数据库合并结果。

主要解决：

• 降低 数据切分带来的复杂多数据库结构

• 提供切分规则并降低 数据切分规则 给应用带来的影响

• 降低db 与客户端的连接数

• 读写分离



二、为什么要用Amoeba

目前要实现mysql的主从读写分离，主要有以下几种方案：

1、  通过程序实现，网上很多现成的代码，比较复杂，如果添加从服务器要更改多台服务器的代码。

2、  通过mysql-proxy来实现，由于mysql-proxy的主从读写分离是通过lua脚本来实现，目前lua的脚本的开发跟不上节奏，而写没有完美的现成的脚本，因此导致用于生产环境的话风险比较大，据网上很多人说mysql-proxy的性能不高。

3、  自己开发接口实现，这种方案门槛高，开发成本高，不是一般的小公司能承担得起。

4、  利用阿里巴巴的开源项目Amoeba来实现，具有负载均衡、高可用性、sql过滤、读写分离、可路由相关的query到目标数据库，并且安装配置非常简单，但是目前还不支持事务。国产的开源软件，应该支持，目前正在使用，不发表太多结论，一切等测试完再发表结论吧，哈哈！



三、快速架设amoeba，实现mysql主从读写分离

假设amoeba的前提条件：

n         Java SE 1.5 或以上 Amoeba 框架是基于JDK1.5开发的，采用了JDK1.5的特性。

n         支持Mysql 协议版本10（mysql 4.1以后的版本）。

n         您的网络环境至少运行有一个mysql 4.1以上的服务

1、首先介绍下我的实验环境。

System：    CentOS release 5.4

Master mysql：192.168.1.121

Slave mysql：192.168.1.108

Amoeba server：   192.168.1.159

架构如如下所示：
Amoeba实现mysql主从读写分离 Amoeba实现mysql主从读写分离
下载 (17.79 KB)
2010-10-21 17:03


我这里只用了一个从数据库！

2、安装配置mysql主从环境，mysql的安装省略，请自行编译或者用rpm安装

###在master mysql创建同步用户

grant replication slave,file on *.* to 'replication'@'192.168.1.108' identified by '123456';

flush privileges;

####修改master的my.cnf的配置

log-bin=mysql-bin         #打开mysql二进制日志
server-id       = 1          #设置mysql_id，主从不能相同
binlog-do-db=test          #设置二进制日志记录的库
binlog-ignore-db=mysql        ##设置二进制日志不记录的库
sync_binlog=1      

####修改slave的my.cnf的配置

log-bin=mysql-bin
server-id       = 2
replicate-do-db=test       #设置同步的库
replicate-ignore-db=mysql     #设置不同步的库
log-slave-updates           #同步后记录二进制日志
slave-skip-errors=all     
sync_binlog=1
slave-net-timeout=60

分别重启主从mysqld服务，登录主mysql，在主上执行flush tables with read lock;后将test数据库的数据copy到从上，并记录下主上show master status\G的结果：

如：

mysql> show master status\G;

*************************** 1. row ***************************

File: mysql-bin.000022

Position: 1237

Binlog_Do_DB: test

Binlog_Ignore_DB: mysql

然后执行unlock tables

登录从mysql，在从上执行：

stop slave;

change master to master_host='192.168.1.121',master_user='replication',master_password='123456',master_log_file='mysql-bin.000022',master_log_pos=1237;

start slave；

show slave status\G;

如果出现下面的情况，说明主从同步已经成功！

Slave_IO_Running: Yes

Slave_SQL_Running: Yes



3、安装JDK环境

下载jdk1.5或者更新版本,地址 http://java.sun.com/javase/downloads/index.jsp

我用的是：jdk-6u20-linux-i586-rpm.bin

在Amoeba server上执行

chmod +x jdk-6u20-linux-i586-rpm.bin

./ jdk-6u20-linux-i586-rpm.bin

##然后按n次空格键，然后输入yes就可以了！^_ ^

ln -s /usr/java/jdk1.6.0_20/ /usr/java/jdk1.6

vi /etc/profile

#添加如下两行内容

export JAVA_HOME=/usr/java/jdk1.6

export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH

#执行下面的命令使更改的内容生效

source /etc/profile



4、  安装amoeba-mysql

下载amoeba-mysql，目前最新版本为amoeba-mysql-1.3.1-BETA.zip

mkdir /usr/local/amoeba/

wget http://sourceforge.net/projects/amoeba/files/latest

unzip amoeba-mysql-1.3.1-BETA.zip

配置文件位于conf目录下，执行文件位于bin目录下,解压后发现bin目录下的启动文件没有可执行权限，请执行：chmod -R +x /usr/local/amoeba/bin/

Amoeba For MySQL 的使用非常简单，所有的配置文件都是标准的XML 文件，总共有四个配置文件。分别为：

◆ amoeba.xml：主配置文件，配置所有数据源以及Amoeba 自身的参数设置；实现主从的话配置这个文件就可以了；

◆ rule.xml：配置所有Query 路由规则的信息；

◆ functionMap.xml：配置用于解析Query 中的函数所对应的Java 实现类；

◆ rullFunctionMap.xml：配置路由规则中需要使用到的特定函数的实现类；

下面我们就来通过更改amoeba.xml配置文件实现mysql主从读写分离，我的配置如下：
  1. <?xml version="1.0" encoding="gbk"?>
  2. <!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
  3. <amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">
  4.     <server>
  5.         <!-- proxy server绑定的端口 -->
  6.         <property name="port">8066</property>
  7.       
  8.         <!-- proxy server绑定的IP -->
  9.         <property name="ipAddress">192.168.1.110</property>
  10.         <!-- proxy server net IO Read thread size -->
  11.         <property name="readThreadPoolSize">20</property>
  12.       
  13.         <!-- proxy server client process thread size -->
  14.         <property name="clientSideThreadPoolSize">30</property>
  15.       
  16.         <!-- mysql server data packet process thread size -->
  17.         <property name="serverSideThreadPoolSize">30</property>
  18.       
  19.         <!-- socket Send and receive BufferSize(unit:K)  -->
  20.         <property name="netBufferSize">128</property>
  21.       
  22.         <!-- Enable/disable TCP_NODELAY (disable/enable Nagle's algorithm). -->
  23.         <property name="tcpNoDelay">true</property>
  24.       
  25.         <!-- 对外验证的用户名 -->
  26.         <property name="user">root</property>
  27.       
  28.         <!-- 对外验证的密码 -->
  29.         <property name="password">password</property>
  30.       
  31.         <!-- query timeout( default: 60 second , TimeUnit:second) -->
  32.         <property name="queryTimeout">60</property>
  33.     </server>
  34.    
  35.     <!--
  36.         每个ConnectionManager都将作为一个线程启动。
  37.         manager负责Connection IO读写/死亡检测
  38.     -->
  39.     <connectionManagerList>
  40.         <connectionManager name="defaultManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper">
  41.             <property name="subManagerClassName">com.meidusa.amoeba.net.AuthingableConnectionManager</property>
  42.            
  43.             <!--
  44.               default value is avaliable Processors
  45.             <property name="processors">5</property>
  46.              -->
  47.         </connectionManager>
  48.     </connectionManagerList>
  49.    
  50.     <dbServerList>
  51.         <!--
  52.             一台mysqlServer 需要配置一个pool，
  53.             如果多台 平等的mysql需要进行loadBalance，
  54.             平台已经提供一个具有负载均衡能力的objectPool：com.meidusa.amoeba.mysql.server.MultipleServerPool
  55.             简单的配置是属性加上 virtual="true",该Pool 不允许配置factoryConfig
  56.             或者自己写一个ObjectPool。
  57.         -->
  58.         <dbServer name="server1">
  59.            
  60.             <!-- PoolableObjectFactory实现类 -->
  61.             <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
  62.                 <property name="manager">defaultManager</property>
  63.                
  64.                 <!-- 真实mysql数据库端口 -->
  65.                 <property name="port">3306</property>
  66.                
  67.                 <!-- 真实mysql数据库IP -->
  68.                 <property name="ipAddress">192.168.1.121</property>
  69.                 <property name="schema">test</property>
  70.                
  71.                 <!-- 用于登陆mysql的用户名 -->
  72.                 <property name="user">zhang</property>
  73.                
  74.                 <!-- 用于登陆mysql的密码 -->
  75.                
  76.                 <property name="password">zhang123</property>
  77.                
  78.             </factoryConfig>
  79.            
  80.             <!-- ObjectPool实现类 -->
  81.             <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
  82.                 <property name="maxActive">200</property>
  83.                 <property name="maxIdle">200</property>
  84.                 <property name="minIdle">10</property>
  85.                 <property name="minEvictableIdleTimeMillis">600000</property>
  86.                 <property name="timeBetweenEvictionRunsMillis">600000</property>
  87.                 <property name="testOnBorrow">true</property>
  88.                 <property name="testWhileIdle">true</property>
  89.             </poolConfig>
  90.         </dbServer>
  91.       
  92.         <dbServer name="server2">
  93.            
  94.             <!-- PoolableObjectFactory实现类 -->
  95.             <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
  96.                 <property name="manager">defaultManager</property>
  97.                
  98.                 <!-- 真实mysql数据库端口 -->
  99.                 <property name="port">3306</property>
  100.                
  101.                 <!-- 真实mysql数据库IP -->
  102.                 <property name="ipAddress">192.168.1.108</property>
  103.                 <property name="schema">test</property>
  104.                
  105.                 <!-- 用于登陆mysql的用户名 -->
  106.                 <property name="user">zhang</property>
  107.                
  108.                 <!-- 用于登陆mysql的密码 -->
  109.                
  110.                 <property name="password">zhang123</property>
  111.                
  112.             </factoryConfig>
  113.            
  114.             <!-- ObjectPool实现类 -->
  115.             <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
  116.                 <property name="maxActive">200</property>
  117.                 <property name="maxIdle">200</property>
  118.                 <property name="minIdle">10</property>
  119.                 <property name="minEvictableIdleTimeMillis">600000</property>
  120.                 <property name="timeBetweenEvictionRunsMillis">600000</property>
  121.                 <property name="testOnBorrow">true</property>
  122.                 <property name="testWhileIdle">true</property>
  123.             </poolConfig>
  124.         </dbServer>
  125.       
  126.         <dbServer name="master" virtual="true">
  127.             <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
  128.                 <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
  129.                 <property name="loadbalance">1</property>
  130.                
  131.                 <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
  132.                 <property name="poolNames">server1</property>
  133.             </poolConfig>
  134.         </dbServer>
  135.         <dbServer name="slave" virtual="true">
  136.             <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
  137.                 <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
  138.                 <property name="loadbalance">1</property>
  139.                
  140.                 <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
  141.                 <property name="poolNames">server1,server2</property>
  142.             </poolConfig>
  143.         </dbServer>
  144.       
  145.     </dbServerList>
  146.    
  147.     <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
  148.         <property name="ruleConfig">${amoeba.home}/conf/rule.xml</property>
  149.         <property name="functionConfig">${amoeba.home}/conf/functionMap.xml</property>
  150.         <property name="ruleFunctionConfig">${amoeba.home}/conf/ruleFunctionMap.xml</property>
  151.         <property name="LRUMapSize">1500</property>
  152.         <property name="defaultPool">master</property>
  153.       
  154.         <property name="writePool">master</property>
  155.         <property name="readPool">slave</property>
  156.         <property name="needParse">true</property>
  157.     </queryRouter>
  158. </amoeba:configuration>
复制代码
启动amoeba

/usr/local/amoeba/bin/amoeba &

检验启动是否成功（使用的是默认的8066端口）：

[[email protected] amoeba]# ps aux | grep amoeba

root     24580  0.2 19.2 408912 49264 pts/1    Sl   12:52   0:11 /usr/java/jdk1.6/bin/java -server -Xms256m -Xmx256m -Xss128k -Damoeba.home=/usr/local/amoeba -Dclassworlds.conf=/usr/local/amoeba/bin/amoeba.classworlds -classpath /usr/local/amoeba/lib/classworlds-1.0.jar org.codehaus.classworlds.Launcher

[[email protected] amoeba]# netstat -lnp | grep java

tcp        0      0 ::ffff:192.168.1.159:8066   :::*                        LISTEN      24580/java



4、  测试

测试之前先要保证amoeba-server有访问两个主从服务器test库的权限,在主从mysql上都执行：

grant all on test.* to [email protected]'192.168.1.%' identified by 'zhang123';

#用户名密码要和前面配置的意志

flush privileges;

测试的时候和我们平时使用一样，amoeba-mysql对我们应用透明，就是个mysql的代理了！

登录mysql使用如下命令（用户名密码和上面配置的要一致）：

mysql -uroot -ppassword -h192.168.1.159 -P8066

登录上去后，为了测试读和写必须，先把mysql的主从复制停掉，才能更清楚地看出读写的服务器是哪台，在从上使用stop slave;登录到amoeba-mysql上，使用命令mysql -uroot -ppassword -h192.168.1.159 -P8066，然后执行写和读操作，查看写的是哪台服务器，读的是哪台服务器，实验结果显示：写只在主上进行，读在主和从都进行，比率是1:1，回头研究 下看能不能分配weight，这样能使主从服务器压力平衡！

学习链接：

如果本文有更新将会发到个人博客上：http://blog.chinaunix.net/u3/93755/showart.php?id=2363202

开发者博客链接： http://amoeba.sourceforge.net/wordpress/

amoeba 中文文档下载地址：http://amoeba.meidusa.com/amoeba.pdf

amoeba 未来发展方向：http://amoeba.meidusa.com/amoeba-big-picture.pdf

 

相关推荐