Netty由浅到深_第四章_ Netty模型之Reactor
1 原生NIO存在问题
- NIO的类库和API繁杂,使用麻烦;需要熟练掌握Selector、ServerSocketChannel、SocketChannek、ByteBuffer等
- 需要具备其他的额外技能:要熟悉java多线程编程,因为NIO涉及到Reactor模式,必须熟悉多线程和网路编程,才能写出高质量的NIO代码
- 开发工作量和难度非常大:列如客户端面临断连重连、网络闪断、半包读写、失败缓存、网络拥塞和异常流的处理等等
- JDK NIO的bug:列如Epoll BUG,它会导致Selector空轮询,最终导致CPU
100%,直到JDK1.7版本该问题仍旧存在
2 Netty官网架构图
- 适用于各种传输类型的统一API阻塞和非阻塞Socket;基于灵活且可扩展的事件模型,可以清晰地分离关注点;高度可定制的线程模型-单线程,一个或多个线程池
- 高性能、吞吐量更高;延迟更低;最小化不必要的内存复制
- 安全:完成的SSL/TLS和StartTLS支持
3 Netty的线程模型发展史
-
此图中:黄色框表示对象,蓝色的框表示线程,白色的框表示API
-
Reactor模式(反应器模式;分发者模式Dispatcher;通知者模式notifier):针对传统阻塞I/O服务模型的2个缺点,做出了两个解决方案。基于I/O复用模型,多个连接公用一个阻塞对象,应用程序只需要在一个阻塞对象等待,无需阻塞等待所有连接,当某个连接有新的数据可以处理时,操作系统通知应用程序,线程从阻塞状态返回,开始进行业务处理;基于线程池复用线程资源,不必再为每个连接创建线程,将连接完成后的业务处理任务分配给线程进行处理,一个线程可以处理多个连接业务
-
此图中:黄色框表示对象,蓝色的框表示线程,白色的框表示API
-
说明:
1)Reactor模式,通过一个或多个输入同时传递给服务处理器的模式(基于事件驱动)
2)服务器端程序处理传入的多个请求,并将它们同步分派到相应的处理线程,因此Reactor模式也叫Dispatcher
3)Reactor模式使用IO复用监听事件。收到事件后,进行分发给某个线程,这点就是网络服务高并发处理关键
Reactor模式中核心组成:
1)Reactor在一个单独的线程中运行,负责监听和分发事件,分发给适当的处理程序来对IO事件做出反应,他就像公司的电话接线员。
2)Handlers:处理程序执行I/O事件要完成的实际事件,类似于客户想要与之交谈的实际官员。3)根据Reacor的数量和处理资源线程池数量的不同,有三典型的实现
-
-
单Reactor单线程
-
方案说明
1) Select是前面I/O复用模型介绍的标准网络编程API,可以实现应用程序通过一个阻塞对象监听多路连接请求。
2) Reactor对象通过Select监控客户端请求事件,收到事件后通过Dispatch进行分发
3) 如果是建立连接请求事件,则由Acceptor通过Accept处理连接请求,然后创建一个Handler对象处理连接完成后的后续业务处理
4) 如果不是建立连接事件,则Reactor会分发调用连接对应的Handler来响应
5) Handler会完成Read->业务处理->send的完整业务流程 -
优点:模型简单,没有多线程,进程通信,竞争的问题。全部都在一个线程中完成
-
缺点:性能问题,只有一个线程,无法完全发挥多核CPU的性能。Handler在处理某个连接上业务时,整个进程无法处理其他时间,很容易造成性能瓶颈;线程意外终止,或者进入死循环,会导致整个系统的通信模块故障
-
使用场景:客户端的数量有限,业务处理非常快速,比如Redis在业务处理的时间复杂O(1)情况
单Reactor多线程
-
方案说明
1) Reactor对象通过Select监控客户端请求事件,收到事件后通过Dispatch进行分发
2) 如果是建立连接请求,则由Acceptor通过accept处理连接请求,然后创建一个Handler队形处理完成后的各种事件。
3) 如果不是连接请求,则由Reactor分发调用连接对应的Handler处理
4) Handler只负责响应事件,不做具体的业务处理。通过read读取数据后,分发给后面的work线程池的某个线程
5) Worker线程池会分配独立的线程完成独立的业务,同时将结果返回给Handler
6) Handler收到响应后,通过send将结果返回给client -
优点:充分利用多核cpu
-
缺点:多线程数据共享和访问比较复杂,reactor处理所有的事件的监听和响应,在单线程运行,在高并发场景容易出现性能瓶颈
主从Reactor单线程
-
方案说明
1) Reactor对象通过MainReactor对象通过select监听连接事件后,通过Acceptor处理连接事件
2) 当Acceptro处理连接事件后,MainReactor将连接分配给SubReactor
3) SubReactor将连接加入到连接队列进行监听,并创建handler进行各种事件处理
4) 当有新事件发生时,subreactor就会调用对应的handler处理
5) Handler通过read读取数据,分发给后面的worker线程处理
6) Worker线程池会分配独立的线程完成独立的业务,同时将结果返回给Handler
7) Handler收到响应后,通过send将结果返回给client
8) MainReactor主线程可以管理多个SubReactor -
优点:父线程与子线程的数据交互职责简单明确,父线程只需要接受新连接,子线程完成后续的业务处理;父线程与子线程的数据交互简单,Reactor主线程只需要把链接传给子线程,子线程无需返回数据。
-
缺点:编程复杂读高
-
综合实列:这种模型在许多项目中广泛应用,包括Nginx主从Reactor多线程模型,Memcached主从多线程,Netty主从多线程模型的支持
3种模式用生活案列来解释
- 1) 单Reactor单线程,前台接待员和服务员是同一个人,全程为顾客服务
- 2) 单Reactor多线程,1个前台接待员,多个服务员,接待员只负责接待 3) 主从Reactor多线程,多个前台接待员,多个服务生
Reactor模式具有如下的优点 1) 响应块,不必为单个同步时间所阻塞,虽然Reactor本身依然是同步的 - 2) 可以最大程度避免复杂的多线程及同步问题,并且避免了多线程/进程的切换开销
- 3) 扩展性号,可以方便的通过增加Reactor实列个数来充分利用CPU资源
- 4) 复用性好,Reactor模型本身于具体事件处理逻辑关系无关,具有很高的复用性