分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.****.net/jiangjunshow

也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！

[root@la bin]# cat ./logstash_jdbc_mongo/jdbc_mongo.confinput {  stdin {  }  jdbc {  ‘# 源Mysql数据库地址  jdbc_connection_string => "jdbc:mysql://20.18.11.4:3306/tech?zeroDateTimeBehavior=convertToNull"  #源Mysql的用户名和密码  jdbc_user => "root"  jdbc_password => "rot123"  ‘ #true代表记录最后存储的关联列值  record_last_run => "true"  use_column_value => "true"  tracking_column => "id"  ‘ #存储位置  last_run_metadata_path => "/opt/logstash/bin/logstash_jdbc_mongo/mongo_info"  clean_run => "false"  ‘ #jdbc路径地址  jdbc_driver_library => "/home/lib/mysql-connector-java-5.1.38.jar"  ‘ # the name of the driver class for mysql  jdbc_driver_class => "com.mysql.jdbc.Driver"  jdbc_paging_enabled => "true"  jdbc_page_size => "500"‘ #以下对应着要执行的sql的绝对路径。  statement_filepath => "/opt/logstash/bin/logstash_jdbc_mongo/jdbc_mongo.sql"‘ #定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"  }}filter {json {  source => "message"  remove_field => ["message"]  }}’#输出mongodb的配置output {  stdout { codec => rubydebug }  mongodb {‘#对应mongodb的输出集合  collection => "N_CLASS"’#对应mongodb的输出数据库名称  database => "data"  uri => "mongodb://110.0.12.45:27017"  }}

[[email protected]_jdbc_mongo]# cat jdbc_mongo.sqlselect*from n_classwhere n_class.id > :sql_last_value

给我老师的人工智能教程打call！http://blog.****.net/jiangjunshow

本文主要讲解如何通过logstash-output-mongodb插件实现Mysql与Mongodb数据的同步。源数据存储在Mysql,目标数据库为非关系型数据库Mongodb。

0、前提

1）已经安装好源数据库：Mysql;
2）已经安装好目的数据库：Mongodb;
3）已经安装好logstash及相关插件logstash-output-mongodb
安装步骤参考：http://blog.****.net/laoyang360/article/details/65448962

1、同步conf配置详解

[root@la bin]# cat ./logstash_jdbc_mongo/jdbc_mongo.confinput {  stdin {  }  jdbc {  ‘# 源Mysql数据库地址  jdbc_connection_string => "jdbc:mysql://20.18.11.4:3306/tech?zeroDateTimeBehavior=convertToNull"  #源Mysql的用户名和密码  jdbc_user => "root"  jdbc_password => "rot123"  ‘ #true代表记录最后存储的关联列值  record_last_run => "true"  use_column_value => "true"  tracking_column => "id"  ‘ #存储位置  last_run_metadata_path => "/opt/logstash/bin/logstash_jdbc_mongo/mongo_info"  clean_run => "false"  ‘ #jdbc路径地址  jdbc_driver_library => "/home/lib/mysql-connector-java-5.1.38.jar"  ‘ # the name of the driver class for mysql  jdbc_driver_class => "com.mysql.jdbc.Driver"  jdbc_paging_enabled => "true"  jdbc_page_size => "500"‘ #以下对应着要执行的sql的绝对路径。  statement_filepath => "/opt/logstash/bin/logstash_jdbc_mongo/jdbc_mongo.sql"‘ #定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新schedule => "* * * * *"  }}filter {json {  source => "message"  remove_field => ["message"]  }}’#输出mongodb的配置output {  stdout { codec => rubydebug }  mongodb {‘#对应mongodb的输出集合  collection => "N_CLASS"’#对应mongodb的输出数据库名称  database => "data"  uri => "mongodb://110.0.12.45:27017"  }}

• 1
• 2
• 3
• 4
• 5
• 6
• 7
• 8
• 9
• 10
• 11
• 12
• 13
• 14
• 15
• 16
• 17
• 18
• 19
• 20
• 21
• 22
• 23
• 24
• 25
• 26
• 27
• 28
• 29
• 30
• 31
• 32
• 33
• 34
• 35
• 36
• 37
• 38
• 39
• 40
• 41
• 42
• 43
• 44
• 45
• 46
• 47
• 48
• 49
• 50

2、需要同步表的sql

[[email protected]_jdbc_mongo]# cat jdbc_mongo.sqlselect*from n_classwhere n_class.id > :sql_last_value

• 1
• 2
• 3
• 4
• 5

3、小结

以上实现了Mysql数据库中的一个库表table 与 Mongodb中的一个集合collection之间的全量、增量同步操作。
全量的实现：通过sql语句实现；
增量的实现：通过定时、sql_last_value实现。
同步的时候，无需在mongodb做任何操作，同步后，既可以在mongodb的windows客户端：Robomongo看到同步后新增的集合collection。

4、题外话（欢迎留言讨论）

PS：以下链接涉及演讲主题“NoSQL之王——一分钟从关系型迁移到MongoDB”，但是目前为止，没有找到相关细节介绍PPT等资料。博友，谁有参与或者更好的同步方案欢迎评论探讨。
http://geek.****.net/news/detail/186266

——————————————————————————————————
更多ES相关实战干货经验分享，请扫描下方【铭毅天下】微信公众号二维码关注。
（每周至少更新一篇！）

和你一起，死磕Elasticsearch！
——————————————————————————————————

2017年3月23日 21:02 于家中床前
作者：铭毅天下 
转载请标明出处，原文地址： 
http://blog.****.net/laoyang360/article/details/65449127
如果感觉本文对您有帮助，请点击‘顶’支持一下，您的支持是我坚持写作最大的动力，谢谢！