伪异步I/O

采用线程池和任务队列可以实现伪异步的I/O通信框架。伪异步I/O

    当有新的客户端接入的时候,将客户端的Socket封装成一个Task(该任务实现java.lang.Runnable接口)投递到后端的线程池中进行处理,JDK的线程池维护一个消息队列和N个活跃线程对消息队列里的任务进行处理。由于线程池可以设置消息队列的大小和最大线程数,因此,它的资源占用是可控的,无论多少个客户端并发访问,都不会导致资源的耗尽和宕机。

    当对Socket的输入流进行读取操作的时候,它会一直阻塞下去,知道发生如下三种事件。

        (1)有数据可读。

        (2)可用数据已经读取完毕。

        (3)发生空指针或者I/O异常。

        这意味着当对方发送请求或者应答消息比较缓慢、或者网络传输较慢时,读取输入流一方的通信线程将被长时间阻塞,如果对方要60s才能够将数据发送完成,读取一方的I/O线程也将会被同步阻塞60s,在此期间,其他接入消息只能在消息队列中排队。    

    当调用OutputStream的write方法写输入流的时候,它将会被阻塞,直到所有要发送的字节全部写入完毕,或者发生异常。学习过TCP/IP相关知识的人都知道,当消息的接收方处理缓慢的时候,将不能及时地从TCP缓冲区读取数据,着将会导致发送方的TCP window size不断减小,直到为0,双方处于Keep-Alive状态,消息发送方将不能再向TCP缓冲区写入消息,这时如果采用的是同步阻塞I/O,write操作将会被无限期阻塞,直到TCP window sie大于0或者发生I/O异常。

     如果通信对方返回应答时间过长,会引起的级联故障。

        (1)服务端处理缓慢,返回应答消息耗费60s,平时只需要10ms。

        (2)采用伪异步I/O的线程正在读取故障服务节点的响应,由于读取输入流是阻塞的,因此,它将会被同步阻塞60s。

        (3)假如所有的可用线程都被故障服务器阻塞,那后续所有的I/O消息都将在队列中排队。

        (4)由于线程池采用阻塞队列实现,当队列积满之后,后续入队列的操作将被阻塞。

        (5)由于前端只有一个Accptor线程接受客户端接入,它被阻塞在线程池的同步阻塞队列之后,新的客户端请求将被拒绝,客户端会发生大量的连接超时。

        (6)由于几乎所有的连接都超时,调用者会认为系统已经崩溃,无法接收新的请求消息。