mysql基于amoeba的读写分离
Amoeba的实用指南
http://docs.hexnova.com/amoeba/
如何实现mysql读写分离 :
通常来说有两种方式:
1,应用程序层实现
2,中间件层实现
应用层实现
应用层实现是指在应用程序内部及连接器中实现读写分离。
例如:
com.mysql.jdbc.replicationdriver
mysqlnd_ms
优点:
程序内部实现读写分离,安装即可使用
减少部署难度。
访问压力在一定级别以下,性能很好。
缺点:
架构一旦调整,代码要更这变, 不够灵活。
难以实现高级应用,如自动分库,分表
无法适用于更大型的应用场景。
目前还不支持事务
中间件层实现:
中间件层实现是指外部中间件程序实现读写分离
mysql-proxy
amoeba
TDDL(TAObao)
CObar(alibaba)
Atlas(qihoo360)
优点:
架构设计上更加灵活、
读库的负载均衡
可在程序上实现一些高级控制,failover,流量控制
依靠一些技术可以实现mysql性能提升,如连接池
对业务代码侵入性少
缺点:
需要有一定的开发实力和运维团队的支持
如果你想支 持事务,又想读写分离,还想负载均衡和高可用,请去了解楼方鑫老师的oneproxy
什么是Amoeba?
Amoeba 2008发布的第一款开源框架
amoeba for mysql,致力于mysql分布式数据库代理层
它主要在应用层访问mysql的时候充当sql路由功能,专注于分布式数据库代理层,坐落于client,DBserver之间,对客户端透明具有负载均衡,高可用,sql过滤,读写分离,可路由相到目标数据库,可并发请求多台数据库合并结果
通过amoeba您能够完成数据源的高可用,负载均衡,数据切换功能,
目前amoeba目前不支持事务
下面是实现这一方案的架构图:
mysql主从复制配置
因为读写分离,所以一台负责mysql的写操作,另一台负责mysql的读操作,所以我们这里使用mysql的主从复制再合适不过了。关于这一配置,请移步: http://douya.blog.51cto.com/6173221/1596113
Amoeba实现读写分离:
2,java环境配置
Amoeba框架是基于Java SE1.5开发的,建议使用Java SE 1.5版本。目前Amoeba经验证在JavaTM SE 1.5和Java SE 1.6能正常运行,(可能包括其他未经验证的版本)。
Java SE 1.6下载地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk-6u32-downloads-1594644.html
我这里下载jdk-6u32-linux-i586-rpm.bin。
下载完成后执行sh jdk-6u32-linux-i586-rpm.bin开始安装,将会安装到/usr/java/jdk1.6.0_32目录。
我自己选择的jdk是根据统一环境使用的1.7
3,Amoeba的安装
Amoeba下载地址:http://sourceforge.net/projects/amoeba/
下面是安装步骤:
1
2
3
4
|
cd /root
mkdir /usr/local/amoeba
wgethttp: //softlayer .dl.sourceforge.net /project/amoeba/Amoeba %20for%20mysql /2 .x /amoeba-mysql-binary-2 .1.0-RC5. tar .gz
tar xzf amoeba-mysql-binary-2.1.0-RC5. tar .gz -C /usr/local/amoeba
|
配置用户环境变量
vim /etc/profile
设置为:
1
2
3
4
5
|
export JAVA_HOME= /root/jdk1 .7.0_79
export CLASSPATH=$JAVA_HOME /lib/dt .jar:$JAVA_HOME /lib/tools .jar:$JAVA_HOME /jre/lib/rt .jar
export PATH=$PATH:$JAVA_HOME /bin
export JAVA_HOME
export PATH
|
立即生效:
1
|
source /etc/profile
|
4,Amoeba for mysql配置
配置Amoeba for mysql的读写分离主要涉及两个文件:
1、/usr/local/amoeba/conf/amoeba.xml
此文件定义了Amoeba代理的相关配置。
2、/usr/local/amoeba/conf/dbServers.xml
此文件定义由Amoeba代理的数据库如何连接,比如最基础的:主机IP、端口、Amoeba使用的用户名和密码等等。
amoeba.xml配置
amoeba本地配置或者对外的配置:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
<! - - service class must implements com.meidusa.amoeba.service.Service - - >
<service name = "Amoeba for Mysql" class = "com.meidusa.amoeba.net.ServerableConnectionManager" >
<! - - port - - >
< property name = "port" > 3306 < / property > - 改成 3306 比较好,开发直接实用默认 3306 端口
<! - - bind ipAddress - - >
< property name = "ipAddress" > 192.168 . 0.48 < / property >
对外提供程序访问的IP地址,也就是amoeba机器对外访问的IP地址
< property name = "manager" >${clientConnectioneManager}< / property >
< property name = "connectionFactory" >
<bean class = "com.meidusa.amoeba.mysql.net.MysqlClientConnectionFactory" >
< property name = "sendBufferSize" > 128 < / property >
< property name = "receiveBufferSize" > 64 < / property >
< / bean>
< / property >
|
amoeba对外连接验证配置:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
< property name = "authenticator" >
<bean class = "com.meidusa.amoeba.mysql.server.MysqlClientAuthenticator" >
< property name = "user" >amoeba< / property > * * * * 对外提供访问的用户
< property name = "password" >Centos< / property > * * * * 对外提供访问的密码
< property name = "filter" >
<bean class = "com.meidusa.amoeba.server.IPAccessController" >
< property name = "ipFile" >${amoeba.home} / conf / access_list.conf< / property >
< / bean>
< / property >
< / bean>
< / property >
|
这里定义连接amoeba时用来验证的用户及密码。
amoeba.xml读写分离配置:
1
2
3
4
|
< property name = "defaultPool" >Master< / property >
< property name = "writePool" >Master< / property >
< property name = "readPool" >virtualSlave< / property >
virtualSlave和dbServer.xml中配置的节点相关 |
defaultPool:配置了默认的数据库节点,一些除了SELECT\UPDATE\INSERT\DELETE的语句都会在defaultPool执行。
writePool :配置了数据库写库,通常配为Master,如这里就配置为之前定义的Master数据库。
readPool :配置了数据库读库,通常配为Slave或者Slave组成的数据库池,如这里就配置之前的virtualSlave数据库池。
(1)dbServers.xml文件配置:
本地的配置或者对外访问配置
***************表示需要修改部分
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
|
<dbServer name = "abstractServer" abstractive = "true" >
<factoryConfig class = "com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory" >
< property name = "manager" >${defaultManager}< / property >
< property name = "sendBufferSize" > 64 < / property >
< property name = "receiveBufferSize" > 128 < / property >
<! - - mysql port - - >
< property name = "port" > 3306 < / property >
<! - - mysql schema - - >
< property name = "schema" >roudy< / property > 必须是一个存在的database
<! - - mysql user - - >
< property name = "user" >amoeba< / property > * * * * * * * *
<! - - mysql password - - >
< property name = "password" >Centos< / property > 默认被注释掉,需打开
< / factoryConfig>
<poolConfig class = "com.meidusa.amoeba.net.poolable.PoolableObjectPool" >
< property name = "maxActive" > 500 < / property >
< property name = "maxIdle" > 500 < / property >
< property name = "minIdle" > 10 < / property >
< property name = "minEvictableIdleTimeMillis" > 600000 < / property >
< property name = "timeBetweenEvictionRunsMillis" > 600000 < / property >
< property name = "testOnBorrow" >true< / property >
< property name = "testWhileIdle" >true< / property >
< / poolConfig>
< / dbServer>
此部分定义 登录mysql服务器的端口,数据库名称,mysql用户及密码。 |
接下来配置主从定义:
***************表示需要修改部分
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
|
<dbServer name= "master" parent= "abstractServer" >
<factoryConfig>
<!-- mysql ip -->
<property name= "ipAddress" >192.168.0.1</property> ** master-IP
</factoryConfig>
</dbServer>
<dbServer name= "Slave1" parent= "abstractServer" >
<factoryConfig>
<!-- mysql ip -->
<property name= "ipAddress" >192.168.0.2</property> ****slave1的IP
</factoryConfig>
</dbServer>
<dbServer name= "Slave2" parent= "abstractServer" >
<factoryConfig>
<!-- mysql ip -->
<property name= "ipAddress" >192.168.0.3</property> ***slave2的IP
</factoryConfig>
</dbServer>
<dbServer name= "virtualSlave" virtual= "true" > ***轮询策略
<poolConfig class= "com.meidusa.amoeba.server.MultipleServerPool" > <!-- Load balancing strategy: 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
<property name= "loadbalance" >1</property>
<!-- Separated by commas,such as: server1,server2,server1 -->
<property name= "poolNames" >Slave1,Slave2</property>
</poolConfig>
</dbServer>
此部分定义主服务器,从服务器,及从服务器连接池。这里只定义数据库地址,它们的用户及密码就是上面的abstractServer里的设置。注意用来连接真实mysql服务器的用户必须拥有远程连接权限 ,这里是先安装,完了在授权 |
配置授权用户
主服务器
1
|
mysql> grant create , select , insert , update , delete on *.* to [email protected] '192.168.0.%' identified by 'Centos' ;
|
mysql> flush privileges;
此时MySQL由于配置了主从同步,所以需要先停掉从的权限。
这里的amoeba,是amoeba.xml ,dbServer.xml中配置的amoeba用户
从服务器
1
2
|
stop slave;
|
amoeba启动
启动命令:
1
2
3
4
|
[[email protected] amobea]# bin/amoeba start The stack size specified is too small, Specify at least 228k
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit. |
此命令以前台的方式启动,会输出启动时的信息,检查没有错误信息后,中断,并后台运行:
启动报错,修改启动脚本
1
2
3
|
后台启动amoeba
/usr/local/amoeba/bin/amoeba &
检验启动是否成功(3306端口):
1
2
3
|
[[email protected] amoeba] # ps aux | grep amoeba
root 24580 0.2 19.2 408912 49264 pts /1 Sl 12:52 0:11 /usr/java/jdk1 .6 /bin/java -server -Xms256m -Xmx256m -Xss128k -Damoeba.home= /usr/local/amoeba -Dclassworlds.conf= /usr/local/amoeba/bin/amoeba .classworlds -classpath /usr/local/amoeba/lib/classworlds-1 .0.jar org.codehaus.classworlds.Launcher
[[email protected] amoeba] # netstat -lnp | grep java
|
最终测试:
链接测试 在任意客户端登录amoeba
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
|
[[email protected] ~]# mysql -u amoeba -p -h192.168.2.48 Enter password :
Welcome to the MySQL monitor. Commands end with ; or \g.
Your MySQL connection id is 1982632907
Server version: 5.1.45-mysql-amoeba-proxy-2.1.0-RC5 MySQL Community Server (GPL) Copyright (c) 2000, 2013, Oracle and / or its affiliates. All rights reserved.
Oracle is a registered trademark of Oracle Corporation and / or its
affiliates. Other names may be trademarks of their respective
owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
mysql> show databases; + --------------------+
| Database |
+ --------------------+
| information_schema | | amoeba_test | | mysql | | performance_schema | | repl | | roudy | | test | + --------------------+
7 rows in set (0.02 sec)
mysql> |
如上表明amoeba配置完全正确。
测试读写是否正确:
此时读库是没有开启复制功能的,(stop slave)
在master服务器上操作,新增一条数据
insert into luodi values ('1','luodi','master1');
紧接着在master查询
1
2
3
4
5
6
|
mysql> select * from luodi;
+ ------+-------+---------+
| id | name | address |
+ ------+-------+---------+
| 1 | luodi | master | | 1 | luodi | master1 | |
在salve服务器上操作,新增一条数据
insert into luodi values ('1','luodi','slave1');
紧接着在salve查询:
1
2
3
4
5
6
|
mysql> select * from luodi;
+ ------+-------+---------+
| id | name | address |
+ ------+-------+---------+
| 1 | luodi | slave | | 1 | luodi | slave1 | |
现在在ameoba服务器查询:
1
2
3
4
5
6
|
mysql> select * from luodi;
+ ------+-------+---------+
| id | name | address |
+ ------+-------+---------+
| 1 | luodi | slave | | 1 | luodi | slave1 | |
没有master服务器的数据,那么在amoeba服务器上插入一条数据,再次验证
insert into luodi values ('1','luodi','slave2');
登录master,salve查看
1
2
3
4
5
6
7
8
|
master: mysql> select * from luodi;
+ ------+-------+---------+
| id | name | address |
+ ------+-------+---------+
| 1 | luodi | master | | 1 | luodi | master1 | | 1 | luodi | master2 |
salve: 此时slave任然没有开启复制
1
2
3
4
5
6
|
mysql> select * from luodi;
+ ------+-------+---------+
| id | name | address |
+ ------+-------+---------+
| 1 | luodi | slave | | 1 | luodi | slave1 | |
到目前为止amoeba基于-M-S结构的动静分离完全成功,然后start slave即可、
本文转自crazy_charles 51CTO博客,原文链接:http://blog.51cto.com/douya/1607493,如需转载请自行联系原作者