您的位置: 首页  >  文章  >  Dropwizard，MongoDB和Gradle实验

Dropwizard，MongoDB和Gradle实验

分类: 文章 • 2024-08-13 18:20:22

介绍

我使用Dropwizard，MongoDB和Gradle创建了一个小项目。 它实际上是从一个实验性的番石榴缓存开始的，作为将计数器发送到MongoDB（或任何其他DB）的缓冲区。 我也想尝试MondleDB插件的Gradle。 接下来，我想创建某种接口来检查此框架，因此我决定尝试使用DropWizard。 这就是该项目的创建方式。

本文不是使用任何选定技术的教程。 这是一个小展示柜，我做过实验。 我猜有一些缺陷，也许我没有使用所有“最佳实践”。 但是，我确实相信，在本文的帮助下，该项目可以成为我使用的各种技术的良好起点。 我还尝试显示一些设计选择，这些选择有助于实现SRP，去耦，内聚等。

我决定从用例描述及其实现开始。 之后，我将解释我对Gradle，MongoDB（和嵌入式）和Dropwizard所做的工作。

在开始之前，这里是源代码：

用例：带缓冲区的计数器

我们对服务器有一些输入请求。 在请求过程中，我们选择用一些数据（由某些逻辑决定）“绘制”它。 某些请求将由Value-1绘制，某些请求将由Value-2绘制，等等。有些将根本不会绘制。 我们要限制绘画请求的数量（每个绘画值）。 为了有限制，对于每个绘制值，我们知道最大值，但是还需要计算（每个绘制值）绘制请求的数量。 由于系统具有多个服务器，因此计数器应由所有服务器共享。

延迟至关重要。 通常，每个请求处理会得到4-5毫秒（对于所有流程。不仅仅是绘画）。 因此，我们不希望增加计数器会增加延迟。 相反，我们将保留一个缓冲区，客户端将向缓冲区发送“增加”。 缓冲区将定期以“批量增量”增加存储库。

我知道可以直接使用Hazelcast或Couchbase或其他类似的快速内存数据库。 但是对于我们的用例，那是最好的解决方案。

原理很简单：

  • 从属模块将调用服务以增加某个**的计数器
  • 该实现为每个键保留计数器的缓冲区
  • 这是线程安全的
  • 编写在单独的线程中进行
  • 每次写入都会大量增加
Dropwizard，MongoDB和Gradle实验

柜台高级设计

缓冲

对于缓冲区，我使用了Google Guava cache 。

缓冲结构

创建缓冲区： 

private final LoadingCache<Counterable, BufferValue> cache;
...

this.cache = CacheBuilder.newBuilder()
	.maximumSize(bufferConfiguration.getMaximumSize())
	.expireAfterWrite(bufferConfiguration.getExpireAfterWriteInSec(), TimeUnit.SECONDS)
	.expireAfterAccess(bufferConfiguration.getExpireAfterAccessInSec(), TimeUnit.SECONDS)
	.removalListener((notification) -> increaseCounter(notification))
	.build(new BufferValueCacheLoader());
...

（ 可逆的描述如下）

BufferValueCacheLoader实现了CacheLoader接口。 当我们调用增加（见下文）时，我们首先通过键从缓存中获取。 如果键不存在，则加载器返回值。

BufferValueCacheLoader： 

public class BufferValueCacheLoader extends CacheLoader<Counterable, BufferValue> {
	@Override
	public BufferValue load(Counterable key) {
		return new BufferValue();
	}
}

BufferValue包装一个AtomicInteger （在某些时候我需要将其更改为Long）

增加柜台

增加计数器，如果超过阈值则发送： 

public void increase(Counterable key) {
	BufferValue meter = cache.getUnchecked(key);
	int currentValue = meter.increment();
	if (currentValue > threashold) {
		if (meter.compareAndSet(currentValue, currentValue - threashold)) {
			increaseCounter(key, threashold);
		}
	}
}

当增加一个计数器时，我们首先从缓存中获取当前值（在加载程序的帮助下。如上所述）。 compareAndSet将自动检查是否具有相同的值（未被另一个线程修改）。 如果是这样，它将更新该值并返回true。 如果成功（返回true），则缓冲区调用更新程序。

查看缓冲区

开发服务之后，我想要一种查看缓冲区的方法。 因此，我实现了以下方法，该方法由前端层（Dropwizard的资源）使用。 Java 8 Stream和Lambda表达式的小示例。

获取所有计数器在缓存中： 

return ImmutableMap.copyOf(cache.asMap())
	.entrySet().stream()
	.collect(
		Collectors.toMap((entry) -> entry.getKey().toString(),
		(entry) -> entry.getValue().getValue()));

MongoDB

我之所以选择MongoDB是因为两个原因：

  1. 我们的系统中有类似的实现，我们决定在那里也使用MongoDB。
  2. 易于与嵌入式服务器一起使用。

我试图设计系统，以便可以选择其他任何持久性实现并进行更改。

我将吗啡用作MongoDB客户端层，而不是直接使用Java客户端。 使用Morphia，您可以创建dao ，它是与MongoDB集合的连接。 您还声明了一个简单的Java Bean（POJO），它表示集合中的文档。 一旦有了dao，就可以使用相当简单的API以“ Java方式”对集合进行操作。 您可以查询和其他任何CRUD操作，以及更多。

我有两个操作：增加计数器和获取所有计数器。 服务实现不扩展Morphia的BasicDAO，而是具有一个继承它的类。 我使用了组合 （过度继承），因为我希望两种服务都具有更多的行为。

为了与键表示保持一致，并从依赖代码中隐藏其实现方式，我使用了一个接口：可通过单个方法counterCount（）来 抵消 。 

public interface Counterable {
	String counterKey();
}

DAO，是服务内部的组成部分： 

final class MongoCountersDao extends BasicDAO<Counter, ObjectId> {
	MongoCountersDao(Datastore ds) {
		super(Counter.class, ds);
	}
}

增加柜台

MongoCountersUpdater扩展了实现CountersUpdater的AbstractCountersUpdater： 

@Override
protected void increaseCounter(String key, int value) {
	Query<Counter> query = dao.createQuery();
	query.criteria("id").equal(key);
	UpdateOperations<Counter> ops = dao.getDs().createUpdateOperations(Counter.class).inc("count", value);
	dao.getDs().update(query, ops, true);
}

嵌入式MongoDB

为了在持久层上运行测试，我想使用内存数据库。 有一个MongoDB插件。 使用此插件，您可以通过仅在运行时创建服务器来运行服务器，或者在Gradle中的maven / task中作为目标运行。

Gradle上的嵌入式MongoDB

稍后我将详细介绍Gradle，但这是设置嵌入式mongo所需的操作。 

dependencies {
	// More dependencies here
	testCompile 'com.sourcemuse.gradle.plugin:gradle-mongo-plugin:0.4.0'
}

设置属性 

mongo {
	//	logFilePath: The desired log file path (defaults to 'embedded-mongo.log')
	logging 'console'
	mongoVersion 'PRODUCTION'
	port 12345
	//	storageLocation: The directory location from where embedded Mongo will run, such as /tmp/storage (defaults to a java temp directory)
}

嵌入式MongoDB Gradle任务

  • startMongoDb只会启动服务器。 它将运行直到停止它。
  • stopMongoDb将停止它。
  • startManagedMongoDb test ，这两个任务将在测试运行之前启动嵌入式服务器。 jvm完成（测试完成）后，服务器将关闭

尽管我只触碰到冰山一角，但我开始看到Gradle的力量。 设置项目甚至都不是那么困难。

摇篮设置

首先，我在eclipse中创建了Gradle项目（安装插件后）。 我需要设置依赖项。 很简单。 就像行家一样。

一个大的JAR输出

当我想从Maven中的所有库中创建一个大jar时，我会使用shade插件。 我在寻找类似的东西，并发现gradle-one-jar插入。 https://github.com/rholder/gradle-one-jar我添加了该插件apply plugin: 'gradle-one-jar' 。 在类路径中添加了一个jar： 

buildscript {
	repositories { mavenCentral() }
	dependencies {
		classpath 'com.sourcemuse.gradle.plugin:gradle-mongo-plugin:0.4.0'
		classpath 'com.github.rholder:gradle-one-jar:1.0.4'
	}
}

并添加了一个任务： 

mainClassName = 'org.eyalgo.server.dropwizard.CountersBufferApplication'
task oneJar(type: OneJar) {
	mainClass = mainClassName
	archiveName = 'counters.jar'
	mergeManifestFromJar = true
}

这些是我需要执行的必要操作，才能使应用程序运行。

Dropwizard

Dropwizard是一堆库，可以轻松快速地创建Web服务器。 它对HTTP使用Jetty，对REST使用Jersey。 它具有其他成熟的库来创建复杂的服务。 它可以用作易于开发的微服务。

正如我在简介中所解释的，我不会介绍Dropwizard的所有功能和/或设置。 有很多的网站。 我将简要介绍为使应用程序运行而执行的操作。

Gradle运行任务 

run { args 'server', './src/main/resources/config/counters.yml' }

第一个参数是服务器。 第二个参数是配置文件的位置。 如果不将Dropwizard作为第一个参数，则会收到有关可能选项的错误消息。 

positional arguments:
  {server,check}         available commands

我已经在Gradle部分中展示了如何创建一个jar。

组态

在Dropwizard中，您可以使用扩展Configuration的类来设置应用程序。 类中的字段应与yml配置文件中的属性对齐。

优良作法是根据属性的用途/职责将其分组。 例如，我为mongo参数创建了一个组。

为了使配置类正确读取子组，您需要创建一个与该组中的属性对齐的类。

然后，在主配置中，将该类添加为成员，并使用批注进行标记： @JsonProperty 。

例： 

@JsonProperty("mongo")
private MongoServicesFactory servicesFactory = new MongoServicesFactory();
@JsonProperty("buffer")
private BufferConfiguration bufferConfiguration = new BufferConfiguration();

示例：更改端口

这是配置文件的一部分，用于设置应用程序的端口。 

server:
  adminMinThreads: 1
  adminMaxThreads: 64
  applicationConnectors:
    - type: http
      port: 9090
  adminConnectors:
    - type: http
      port: 9091

健康检查

Dropwizard提供了开箱即用的基本管理API。 我将端口更改为9091。我为MongoDB连接创建了运行状况检查。 您需要扩展HealthCheck并实施检查方法。 

private final MongoClient mongo;
...
protected Result check() throws Exception {
	try {
		mongo.getDatabaseNames();
		return Result.healthy();
	} catch (Exception e) {
		return Result.unhealthy("Cannot connect to " + mongo.getAllAddress());
	}
}

其他功能几乎是不言自明的，或者像任何入门教程一样简单。

增强想法

这些是我可能会尝试添加的内容。

  • 将测试添加到Dropwizard部分。
    该项目以PoC开头，因此与往常不同，我跳过了服务器部分中的测试。
    Dropwizard拥有“ 测试Dropwizard” ，我想尝试一下。
  • 不同的持久性实现。 （couchbase？Hazelcast？）。
  • 使用Google Guice进行注射。 并在此帮助***入不同的持久性实现。

就这样。 希望能有所帮助。

翻译自: https://www.javacodegeeks.com/2015/02/dropwizard-mongodb-and-gradle-experimenting.html

相关推荐