Springboot之整合ElasticSearch使用
一、引入
(来自infoq)据外媒报道,1月22日,美国一家网上赌场集团泄露了超过 1.08 亿笔**信息,包括客户个人资料,存取款记录、家庭住址、电话号码、电子邮件地址、出生日期、网站用户名、帐户余额、IP 地址、浏览器、操作系统信息、上次登录信息和游戏列表,甚至包含当前**、获胜、用于交易的银行卡等详细信息。
该服务器被安全研究员 Justin Paine 发现,数据泄露源头竟然是 ElasticSearch 服务器,该服务器没有密码保护,不需要身份验证且很明显信息来源于在线**门户网站。
近年关于ElasticSearch 的安全事故频发
ElasticSearch 是一个搜索引擎,企业一般用它来改进自有网络内的数据索引和搜索功能,通常会装在内部网络用来处理公司机密信息,信息不会泄露在网上,因为通常处理的是公司内部最敏感的信息。
虽然 ElasticSearch 通常在公司内部运行,但近年因为其未加密而发生的数据泄露事件不在少数:
2017 年,白帽汇曾对全球使用 ElasticSearch 引擎发生的勒索事件进行监测,最终发现因被攻击而删除的数据至少 500 亿条,被删除数据规模至少 450TB。系统显示,互联网上公开可访问的 ElasticSearch 服务器超过 68000 余台,受害总数达 9750 台。其中,美国 4380 台,中国第二为 944 台,其余来自法国、爱尔兰和新加坡等地。此次事件后,1% 的 Elasticsearch 启用了验证插件,另外有 2% 则关闭了 Elasticsearch。
2018 年 11 月份,美国还曾发生一起 ElasticSearch 服务器在没有密码的开放状态下泄露了将近 5700 万美国民众个人信息的事件。当时共泄漏超过 73GB 数据,并且几个数据库被缓存在服务器内存中,其中一个数据库包含的个人信息就达到了 56,934,021 份。
2018 年 12 月份,巴西最大的订阅电视服务之一的 Sky Brasil 在没有密码的情况下将 ElasticSearch 服务器暴露在互联网上,其 3200 万客户数据在网上暴露了很长时间,存储数据包括客户姓名、电子邮件地址、密码、付费电视包数据、客户端 IP 地址、个人地址、付款方式、设备型号等。
回顾几起案例,相似之处在于 ElasticSearch 服务器均在没有密码保护的情况下遭到泄露,因此企业应该对该服务器进行加密,如果不喜欢付费软件,网络中也有很多开源工具可供选择;其次,升级目前所用的 ElasticSearch 版本,较高版本暂时安全性更好;最后,如果选用了与 ElasticSearch 一起使用的集成工具,也需要检查这些工具是否会存在漏洞并做好加密工作。
那为什么不加密呢?我想有一个重要的原因,那还不是人家收费嘛。官方集成的Plugin - Xpack就有安全这一功能。但是!要收费,要收费,要收费。
扯了这么多,那为啥我们还用它啊,因为它好用啊。
二、具体配置
关于安全,或者网关权限,业内有各式各样的曲线救国办法。比如Nginx中配置htpasswd等等,想了解的网上一搜就会有很多。今天,我们来说一个由Spring公司的spring-data-elasticsearch对ES数据的简单集成和使用。所谓,站在巨人的肩膀上用现成的工具,从开发效率上讲,可谓是事半功倍。
使用前提:
-
JDK8+
-
Springboot 2.1.1.RELEASE
-
IDEA
-
Mysql5.5+
-
lombok
-
Greenwich.RELEASE(如果有集成Cloud,建议使用)
1、pom.xml
<groupId>com.bboyHan</groupId>
<artifactId>demo-project</artifactId>
<packaging>pom</packaging>
<version>1.0-SNAPSHOT</version>
<parent>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-parent</artifactId>
<version>2.1.1.RELEASE</version>
</parent>
<dependencyManagement>
<dependencies>
<dependency>
<groupId>org.springframework.cloud</groupId>
<artifactId>spring-cloud-dependencies</artifactId>
<version>Greenwich.RELEASE</version>
<!--<version>Edgware.SR3</version>-->
<type>pom</type>
<scope>import</scope>
</dependency>
</dependencies>
</dependencyManagement>
<dependencies>
...
<!-- 对应es 6.2.2 version-->
<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-elasticsearch</artifactId>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-web</artifactId>
</dependency>
...
</dependencies>
2、application.yml
server:
port: 8080
spring:
profiles:
active: dev
application:
name: @[email protected]
data:
elasticsearch:
cluster-name: my-application # 对应es.yml里的cluster.name
cluster-nodes: 127.0.0.1:9300
repositories:
enabled: true
datasource:
url: jdbc:mysql://localhost:3306/bboyhan?characterEncoding=UTF-8&useUnicode=true&useSSL=false
username: root
password: root
type: com.alibaba.druid.pool.DruidDataSource
driver-class-name: com.mysql.cj.jdbc.Driver
补充:
Mysql在升级6之后,Driver有了新的变化,使用的是“com.mysql.cj.jdbc.Driver”,之前的“com.mysql.jdbc.Driver”已经弃用。另外,如果大家使用了JDBC连接Mysql6 com.mysql.cj.jdbc.Driver, 需要指定时区serverTimezone。
datasource:
url: jdbc:mysql://localhost:3306/bboyHan?serverTimezone=UTC&useSSL=false
三、写代码
最近工作比较忙,小编代码命名比较随意了,就是传统的MVC,大家凑合看哈。
3、Controller
@RestController
public class TestController {
@Autowired
private TestService testService;
@GetMapping("/test")
public Result test() {
return testService.test();
}
}
4、Service
/**
* @Auther: bboyHan
* @Date: 2019/1/23 19:24
*/
@Service
public class TestService {
@Autowired
private TestEsRepo testEsRepo;
public Result test() {
TestEs entity = new TestEs();
testEsRepo.save(entity);
return Result.success(save);
}
}
5、repository
/**
* @Auther: bboyHan
* @Date: 2019/1/23 19:20
*/
@Repository
public interface TestEsRepo extends ElasticsearchRepository<TestEs,Long>{
}
6、entity
import lombok.Data;
/**
* @Auther: bboyHan
* @Date: 2019/1/23 19:15
* @Description:
*/
@Data
public class TestEs {
private Long id;
private String name;
private String money;
}
7、启动类
@SpringBootApplication
@EnableElasticsearchRepositories
public class SearchApplication {
public static void main(String[] args) {
SpringApplication.run(SearchApplication.class, args);
}
}
到这里就完成了,亲测可行。
本公众号致力于做一个
非营利性质
技术资源共享交流平台
如有收获,请帮忙转发
您的鼓励是作者最大的动力,谢谢!
----------往期精彩----------