通常情况下,一个正常的TCP连接,都会有三个阶段:

具体流程可以看下面的状态图。

一、分析CLOSE_WAIT现象和问题定位

Spring Boot应用内置Tomcat服务出现大量CLOSE_WAIT的现象,主要原因是某种情况下对方关闭了Socket链接,但是我方(Server)忙于读或者写,没有关闭连接。

关于CLOSE_WAIT的产生大部分都是资源没释放导致的,有httpclient导致的,也有数据库或者其他中间件服务器(如Redis、MQ等等)连接导致的。

springboot tomcat 性能调优(SpringBoot内置Tomcat出现大量CLOSEWAIT导致应用假死深入分析)(1)

CLOSE_WAIT状态是由于客户端关闭了socket连接,发送了FIN报文,服务端也发送了ACK报文,此时客户端处于FIN_WAIT_2状态,服务端处于CLOSE_WAIT状态。

下面回顾一下问题的定位:

1. 首先,我这边的大部分请求都需要查询数据库,数据库连接池设置的最大连接数是100,所以每一个请求创建了一个连接,等到100个请求就把连接池占满了,但是处理servlet的那个线程并没有释放这个连接,于是接下来的请求再去创建数据库连接的时候就会一直阻塞在那里,这里我所用的是DBCP作为连接池的。

2. 如果没有可用的连接对象会导致线程等待。好了,servlet由于得不到数据库连接而阻塞了,这个客户端的请求就一直等待。

3. 客户端使用httpclient设置了5s的请求超时时间,那么超时之后就会抛出异常,关闭连接。

4. 关闭连接时,客户端发送了FIN(终结)报文,Server端TCP/IP返回了ACK报文,但是由于处理请求的线程还处于阻塞的状态,所以当前的连接状态是CLOSE_WAIT。

二、终止TCP连接的四次挥手

由于TCP连接是全双工的,因此每个方向都必须单独进行关闭。

假设终止FIN命令由Client端发起。

springboot tomcat 性能调优(SpringBoot内置Tomcat出现大量CLOSEWAIT导致应用假死深入分析)(2)

当Client端传输完成数据,或者需要断开连接时:

1. Client端发送一个FIN报文给Server端。(序号为m)

2. Server端收到FIN后,发送一个ACK报文给Client端。(序号为m 1)

3. Server端也发送一个FIN报文给Client端。(序号为n)

4. Client端收到报文FIN后,也发送一个ACK报文给服务器。(序号n 1)

5. Server端收到序号为(n 1)的ACK

6. Client等待2MSL之后

至此,一个完整的TCP连接就关闭了。

两个基本问题:

Q: 我们看到CLOSE_WAIT出现在什么时候呢?

A: 在Sever端收到Client的FIN消息之后。

Q: 状态CLOSE_WAIT在什么时候转换成下一个状态呢?

A: 在Server端向Client发送FIN消息之后。

至此似乎明白了为什么会出现CLOSE_WAIT的状态:如果Server端一直没有向Client端发送FIN消息(调用close() API),那么这个CLOSE_WAIT会一直存在下去。

从上面我们看到出现CLOSE_WAIT,说明Server端没有发起close()操作,这基本上是用户Server端程序的问题了,比如存在耗时的操作、访问DB超时或无法获取连接等等。

通常情况下,Server都是等待Client访问,如果Client退出请求关闭连接,Server端自觉close()对应的连接。

三、SYN,ACK,RST和FIN都是什么的缩写?

连接过程是通过一系列状态表示的,这些状态有:LISTEN,SYN-SENT,SYN-RECEIVED,ESTABLISHED,FIN-WAIT-1,FIN-WAIT-2,CLOSE-WAIT,CLOSING,LAST-ACK,TIME-WAIT和 CLOSED。

各个状态的意义如下:

LISTEN - 侦听来自远方TCP端口的连接请求;

SYN-SENT - 在发送连接请求后等待匹配的连接请求;

SYN-RECEIVED - 在收到和发送一个连接请求后等待对方对连接请求的确认(ACK);

ESTABLISHED - 代表一个打开的连接,数据可以传送给用户;

FIN-WAIT-1 - 等待远程TCP的连接中断请求,或先前的连接中断请求的确认;

FIN-WAIT-2 - 从远程TCP等待连接中断请求;

CLOSE-WAIT - 等待从本地用户发来的连接中断请求;

CLOSING - 等待远程TCP对连接中断的确认;

LAST-ACK - 等待Client端TCP的连接中断请求的确认;

TIME-WAIT - 等待足够的时间以确保远程TCP接收到连接中断请求的确认;

CLOSED - 没有任何连接状态;

英文单词缩写:

SYN(Synchronize)同步;该标志仅在三次握手建立TCP连接时有效,表示一个新的TCP连接请求。

ACK(ACKnowledge)确认;对TCP请求的确认标志,同时表示对方系统已经成功接收所有数据。

RST(Reset)重置;

FIN(Finish)终结;用来结束一个TCP会话。

,