技能目标
· 掌握Nginx服务优化
· 掌握Nginx深入优化
9.1 案例分析
9.1.1 案例概述
在企业信息化应用环境中,服务器的安全性和响应速度需要根据实际情况进行相应参数配置,以达到最优的用户体验。
默认的Nginx安装参数只能提供最基本的服务,需要调整如网页缓存时间、连接超时、网页压缩等相应参数,发挥出服务器的最大作用。
9.1.2 案例前置知识点
1. Nginx工作原理
Nginx由内核和模块组成。Nginx本身做的工作实际很少,当它接到一个HTTP请求时,它仅仅是通过查找配置文件将此次请求映射到一个location block,而此location中所配置的各个指令则会启动不同的模块去完成工作,因此模块可以看做Nginx真正的劳动工作者。通常一个location中的指令会涉及一个handler模块和多个filter模块(当然,多个location可以复用同一个模块)。handler模块负责处理请求,完成响应内容的生成,而filter模块对响应内容进行处理。
用户根据自己的需要所开发的模块都属于第三方模块。正是有了这么多模块的支撑,Nginx的功能才会如此强大。
Nginx的模块从结构上分为核心模块、基础模块和第三方模块:
· 核心模块:HTTP模块、EVENT模块和MAIL模块;
· 基础模块:HTTP Access模块、HTTP FastCGI模块、HTTP Proxy模块和HTTP Rewrite模块;
· 第三方模块:HTTP Upstream Request Hash模块、Notice模块和HTTP Access Key模块。
Nginx的模块从功能上分为如下三类:
· Handlers(处理器模块):此类模块直接处理请求,并进行输出内容和修改headers信息等操作。Handlers处理器模块一般只能有一个;
· Filters(过滤器模块):此类模块主要对其他处理器模块输出的内容进行修改操作,最后由Nginx输出;
· Proxies(代理类模块):此类模块是Nginx的HTTP Upstream之类的模块,这些模块主要与后端一些服务比如FastCGI等进行交互,实现服务代理和负载均衡等功能。
2. Nginx的进程模型
在工作方式上,Nginx分为单工作进程和多工作进程两种模式。
· 在单工作进程模式下,除主进程外,还有一个工作进程,工作进程是单线程的;
· 在多工作进程模式下,每个工作进程包含多个线程。Nginx默认为单工作进程模式。
Nginx在启动后,会有一个master进程和多个worker进程。
master进程主要用来管理worker进程,主要包含:接收来自外界的信号,向各worker进程发送信号,监控worker进程的运行状态,当worker进程退出后(异常情况下),会自动重新启动新的worker进程。
master进程充当整个进程组与用户的交互接口,同时对进程进行监护。它不需要处理网络事件,不负责业务的执行,只会通过管理worker进程来实现重启服务、平滑升级、更换日志文件、配置文件实时生效等功能。
3. Nginx FastCGI运行原理
Nginx不支持对外部程序的直接调用或者解析,所有的外部程序(包括PHP)必须通过FastCGI接口来调用。FastCGI接口在Linux下是socket(这个socket可以是文件socket,也可以是ip socket)。
wrapper为了调用CGI程序,还需要一个FastCGI的wrapper(wrapper可以理解为用于启动另一个程序的程序),这个wrapper绑定在某个固定socket上,如端口或者文件socket。当Nginx将CGI请求发送给这个socket的时候,通过FastCGI接口,wrapper接收到请求,然后Fork(派生)出一个新的线程,这个线程调用解释器或者外部程序处理脚本并读取返回数据;接着wrapper再将返回的数据通过FastCGI接口,沿着固定的socket传递给Nginx;最后Nginx将返回的数据(html页面或者图片)发送给客户端。
9.1.3 案例环境
1. 本案例实验环境
本案例环境采用最小化安装,详细信息如表9-1
表9-1 案例环境
2. 案例需求
1)Nginx配置文件基本优化
2)Nginx配置文件高级优化
3. 案例实现思路
1)从Nginx配置文件入手
2)优化后验证结果
9.2 案例实施
9.2.1 Nginx服务优化
本节将依次介绍Nginx隐藏版本号、更改用户与组、配置网页缓存时间、日志切割、设置连接超时。
1. 隐藏版本号
在生产环境中,需要隐藏Nginx的版本号,以避免泄漏Nginx的版本,使攻击者不能针对特定版本进行攻击。在隐藏前,可以使用fiddler工具抓取数据包,查看Nginx版本,也可以在CentOS中使用命令curl -I http://192.168.9.209/查看。
[root@www ~]# curl -I http://192.168.9.209
HTTP/1.1 200 OK
Server: nginx/1.12.0 //版本号
............ //省略内容
隐藏Nginx版本号有两种方式,第一种是修改Nginx源码文件,指定不显示版本号,第二种是修改Nginx的主配置文件。
1)修改配置文件方式
将Nginx的配置文件中的server_tokens选项值设置为off,如没有该配置项,加上即可。
[root@www ~]# cd /usr/local/nginx/conf/
[root@www ~]# vi nginx.conf
............ //省略内容
http {
include mime.types;
default_type application/octet-stream;
server_tokens off; //关闭版本号
............ //省略内容
[root@www conf]# nginx –t //测试配置文件语法
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
使用了php处理动态网页,如果php配置文件中配置了fastcgi_param SERVER_SOFTWARE选项,则编辑php-fpm配置文件,将fastcgi_param SERVER _SOFTWARE对应的值修改为fastcgi_param SERVER _SOFTWARE nginx。
再次访问网址,只显示nginx,版本号已经隐藏。
[root@www conf]# service nginx restart
[root@www conf]# curl -I http://192.168.9.209/
HTTP/1.1 200 OK
Server: nginx
............ //省略内容
2)设置版本信息
Nginx源码文件/usr/src/nginx-1.12.0/src/core/nginx.h包含了版本信息,可以随意设置,然后重新编译安装,隐藏版本信息。
[root@www conf]# vi /usr/src/nginx-1.12.0/src/core/nginx.h //编辑源码文件
#define NGINX_VERSION "1.1.1" //修改版本号
#define NGINX_VER "IIS" NGINX_VERSION //修改服务器类型
[root@www conf]# cd /usr/src/nginx-1.12.0/
[root@www nginx-1.12.0]# ./configure --prefix=/usr/local/nginx --user=nginx --group=nginx --with-http_stub_status_module && make && make install
[root@www nginx-1.12.0]# cd /usr/local/nginx/conf/
[root@www conf]# vi nginx.conf
............ //省略内容
http {
include mime.types;
default_type application/octet-stream;
server_tokens on; //打开版本号on
............ //省略内容
[root@www conf]# service nginx stop
[root@www conf]# service nginx start
[root@www conf]# curl -I http://192.168.9.209/
HTTP/1.1 200 OK
Server: IIS1.1.1 //显示设置的信息
............ //省略内容
2. 修改用户与组
Nginx运行时进程需要有用户与组的支持,用以实现对网站文件读取时进行访问控制。主进程由root创建,子进程由指定的用户与组创建。Nginx默认使用nobody用户帐号与组帐号,一般也要进行修改。
修改Nginx用户与组有两种方法,一种是在编译安装时指定用户与组,另一种是修改配置文件指定用户与组。
1)指定用户与组的参数
编译Nginx时指定用户与组,就是配置Nginx时,在./configure后面指定用户与组的参数。
[root@www nginx-1.12.0]# ./configure \
--prefix=/usr/local/nginx \
--user=nginx \ //指定用户名是nginx
--group=nginx \ //指定组名是nginx
--with-http_stub_status_module \
&& make && make install
2)配置用户与组
修改Nginx配置文件nginx.conf指定用户与组。
[root@www nginx-1.12.0]# cd /usr/local/nginx/conf/
[root@www conf]# vi nginx.conf
user nginx nginx; //修改用户为nginx ,组为nginx
重启Nginx查看进程运行情况,主进程由root帐户创建,子进程则由Nginx创建。
[root@www conf]# ps aux |grep nginx
root 130034 0.0 0.0 20220 620 ? Ss 19:41 0:00 nginx: master process /usr/local/sbin/nginx //主进程由root创建
nginx 130035 0.0 0.0 20664 1512 ? S 19:41 0:00 nginx: worker process //子进程由nginx创建
root 130450 0.0 0.0 103260 864 pts/0 S 21:59 0:00 grep --color=auto nginx
3. 配置网页缓存时间
当Nginx将网页数据返回给客户端后,可设置缓存的时间,以方便在日后进行相同内容的请求时直接返回,以避免重复请求,加快了访问速度,一般针对静态资源进行设置,对动态网页不用设置缓存时间。
1)以图片作为缓存对象,复制logo.jpg图片到Nginx的工作目录,访问http://192.168.9.209/logo.jpg,用fiddler工具进行抓包,如图9.1所示,查看响应报文,没有图片的缓存信息。
图9.1 缓存修改前的响应报文
2)修改Nginx的配置文件,在新location段加入expires参数,指定缓存的时间,1d表示一天。
[root@www conf]# vi nginx.conf
............. //省略内容
location / {
root html;
index index.html index.htm;
}
location ~ \.(gif|jpg|jepg|png|bmp|ico)$ { //加入新的location
root html;
expires 1d; //指定缓存时间
}
............. //省略内容
3)重启Nginx服务后,访问网址抓包,如图9.2所示,响应报文中含有Expires参数,表示缓存的时间。
图9.2 缓存修改后的响应报文
其中的Cahce-Control:max-age=86400表示缓存时间是86400秒,也就是缓存一天的时间,一天之内浏览器访问这个页面,都是用缓存中的数据,而不需要向Nginx服务器重新发出请求,减少了服务器的使用带宽。
4. 日志切割
随着Nginx运行时间的增加,产生的日志也会逐渐增加,为了方便掌握Nginx的运行状态,需要时刻关注Nginx日志文件。太大的日志文件对监控是一个大灾难,不便于分析排查,需要定期的进行日志文件的切割。
Nginx没有类似Apache的cronlog日志分割处理功能,但是可以通过Nginx的信号控制功能脚本来实现日志的自动切割,并将脚本加入到Linux的计划任务中,让脚本在每天的固定时间执行,便可实现日志切割功能。下面是具体操作步骤。
1)编写脚本/opt/fenge.sh,把Nginx的日志文件/usr/local/nginx/logs/access.log移动到
目录/var/log/nginx下面,以当前时间做为日志文件的名称,然后用kill –USR1创建新的日志文件/usr/local/nginx/logs/access.log,最后删除30天之前的日志文件。
[root@www logs]# vi /opt/fenge.sh
#!/bin/bash
# Filename: fenge.sh
d=$(date -d "-1 day" " %Y%m%d")
logs_path="/var/log/nginx"
pid_path="/usr/local/nginx/logs/nginx.pid"
[ -d $logs_path ] || mkdir -p $logs_path //创建日志文件目录
mv /usr/local/nginx/logs/access.log ${logs_path}/test.com-access.log-$d
//移动并重命名日志文件
kill -USR1 $(cat $pid_path) //重建新日志文件
find $logs_path -mtime 30 |xargs rm -rf //删除30天之前的日志文件
2)执行/opt/fenge.sh,测试日志文件是否被切割。
[root@www logs]# chmod x /opt/fenge.sh //添加权限
[root@www logs]# /opt/fenge.sh //执行分割脚本
[root@www ~]# ls /var/log/nginx
test.com-access.log-20180523 //按日期分割了日志文件
[root@www ~]# cat /usr/local/nginx/logs/access.log //原来的日志文件重新创建
3)设置crontab任务,定期执行脚本自动进行日志分割。
[root@www ~]# crontab -e
30 1 * * * /opt/fenge.sh
即每天的凌晨1:30分执行/opt/fenge.sh脚本,进行日志分割。
5. 设置连接超时
在企业网站中,为了避免同一个客户长时间占用连接,造成资源浪费,可设置相应的连接超时参数,实现控制连接访问时间。可以修改配置文件nginx.conf,设置keepalive_timeout超时时间。
[root@www conf]# vi nginx.conf
http {
............. //省略内容
#keepalive_timeout 0;
keepalive_timeout 65 180; //默认是65秒,设置超时是180秒
............. //省略内容
keepalive_timeout第一个参数指定了与client的keep-alive连接超时时间,服务器将会在这个时间后关闭连接。可选的第二个参数指定了在响应头Keep-Alive: timeout=time中的time值。这个头能够让一些浏览器主动关闭连接,这样服务器就不必要去关闭连接了。没有这个参数,nginx不会发送Keep-Alive响应头。
访问网址抓取数据报文,响应头中显示了超时时间是180秒。
一般只设置Keepalive_timeout参数即可。
同时在优化后可能还会增加其它超时参数,比如Client_header_timeout参数,指定等待客户端发送请求头的超时时间,Client_body_timeout指定请求体读超时时间。
[root@www conf]# vi nginx.conf
http {
............. //省略内容
keepalive_timeout 65 180;
client_header_timeout 80;
client_body_timeout 80;
............. //省略内容
因为请求头和请求体只有在特殊情况下才能显示效果,这里不再演示。
本节将依次介绍Nginx更改进程数、配置网页压缩、配置防盗链、fpm参数优化。
9.2.2 Nginx深入优化
1. 更改进程数
在高并发环境中,需要启动更多的Nginx进程以保证快速响应,用以处理用户的请求,避免造成阻塞。使用ps aux命令查看Nginx运行进程的个数。
[root@www conf]# ps aux | grep nginx
root 1241 0.0 0.0 20220 616 ? Ss 17:06 0:00 nginx: master process /usr/local/sbin/nginx
nginx 1242 0.0 0.0 20664 1540 ? S 17:06 0:00 nginx: worker process
其中master process是Nginx的主进程,开启了1个,worker process是子进程,子进程也是开启了1个。
修改Nginx的配置文件的worker_processes参数,一般设为CPU的个数或者核数,在高并发的情况下可设置为CPU个数或者核数的2倍,可以查看CPU的核数以确定参数。
[root@www conf]# cat /proc/cpuinfo | grep -c "physical"
4
参数设置为4,和CPU的核数相同。运行进程数多一些,响应客户端访问请求时,Nginx就不会临时启动新的进程提供服务,减少了系统的开销,提升了服务速度。
[root@www conf]# vi nginx.conf
worker_processes 4;
修改完后,重启服务,使用ps aux 查看运行进程数的变化情况。
[root@www conf]# service nginx stop
[root@www conf]# service nginx start
[root@www conf]# ps aux | grep nginx
root 1868 0.0 0.0 20220 620 ? Ss 20:20 0:00 nginx: master process /usr/local/sbin/nginx
nginx 1869 0.0 0.0 20664 1324 ? S 20:20 0:00 nginx: worker process
nginx 1870 0.0 0.0 20664 1324 ? S 20:20 0:00 nginx: worker process
nginx 1871 0.0 0.0 20664 1248 ? S 20:20 0:00 nginx: worker process
nginx 1872 0.0 0.0 20664 1304 ? S 20:20 0:00 nginx: worker process
开启了1个主进程和4个子进程,参数设置起到了作用。
默认情况下,Nginx的多个进程可能更多的跑在一颗CPU上,可以分配不同的进程给不同的CPU处理,充分利用硬件多核多CPU。在一台4核CPU服务器上,可以设置每个进程分别由不同的CPU核心处理,达到CPU的性能最大化。
[root@www conf]# vi nginx.conf
worker_processes 4;
worker_cpu_affinity 0001 0010 0100 1000;
2. 配置网页压缩
Nginx的ngx_http_gzip_module压缩模块提供了对文件内容压缩的功能,允许Nginx服务器将输出内容发送到客户端之前进行压缩,以节约网站的带宽,提升用户的访问体验,默认Nginx已经安装该模块,只需要在配置文件中加入相应的压缩功能参数对压缩性能进行优化即可。
· Gzip on:开启gzip压缩输出;
· gzip_min_length 1k:用于设置允许压缩的页面最小字节数;
· gzip_buffers 4 16k:表示申请4个单位为16k的内存作为压缩结果流缓存,默认值是申请与原始数据大小相同的内存空间来存储gzip压缩结果;
· Zip_http_version 1.0:用于设置识别http协议版本,默认是1.1,目前大部分浏览器已经支持gzip解压,但处理最慢,也比较消耗服务器CPU资源;
· Gzip_comp_level 2:用来指定gzip压缩比,1压缩比最小,处理速度最快;9压缩比最大,传输速度快,但处理速度最慢,使用默认即可;
· Gzip_types text/plain:压缩类型,是对哪些网页文档启用压缩功能;
· Gzip_vary on:选项可以让前端的缓存服务器缓存经过gzip压缩的页面。
修改Nginx的配置文件,加入压缩功能参数。
[root@www conf]# vi nginx.conf
gzip on;
gzip_buffers 4 64k;
gzip_http_version 1.1;
gzip_comp_level 2;
gzip_min_length 1k;
gzip_vary on;
gzip_types text/plain text/javascript application/x-javascript text/css text/xml application/xml application/xml rss;
在Nginx工作目录建立一个超过1K大小的html文件,然后访问网址抓取数据报文,如图9.3所示,显示使用gzip进行了压缩。
图9.3 使用GZIP压缩响应报文
3. 配置防盗链
在企业网站服务中,一般都要配置防盗链功能,以避免网站内容被非法盗用,造成经济损失,也避免了不必要的带宽浪费。Nginx的防盗链功能也非常强大,在默认情况下,只需要进行很简单的配置,即可实现防盗链处理。
1)防盗链需要准备两台主机模拟盗链,表9-2是主机的配置说明。
表9-2 准备两台主机模拟盗链
2)修改Windows的C:\Windows\System32\drivers\etc\hosts文件,设置域名和IP映射关系。
192.168.9.209 www.bt.com
192.168.9.236 www.test.com
3)修改两台CentOS的hosts文件,设置域名和IP映射关系。
[root@www conf]# vi /etc/hosts
192.168.9.209 www.bt.com
192.168.9.236 www.test.com
4)把图片logo.jpg放到源主机(bt.com)的工作目录下。
[root@www ~]# cd /usr/local/nginx/html/
[root@www html]# ls
50x.html index.html logo.jpg
5)在盗链主机(test.com)的工作目录编写盗链页面index.html,盗取源主机(bt.com)的图片。
[root@localhost ~]# cd /usr/local/nginx/html/
[root@localhost html]# vi index.html
<!DOCTYPE html>
<html>
<head>
//省略部分
<p><em>Thank you for using nginx.</em></p>
<img src="http://img.studyofnet.comhttp://www.bt.com/logo.jpg"/>
</body>
</html>
6)访问盗链的网页http://www.test.com/index.html,如图9.4所示,查看是否盗链成功。
图9.4 盗链页面
在图片上右键点击检查,可以看到图片的网址是http://www.bt.com/logo.jpg,如图9.5所示,也就是在www.test.com中成功盗取了www.bt.com的图片。
图9.5 被盗链的图片属性
7)配置Nginx防盗链
Nginx的防盗链原理是加入location项,用正则表达式过滤图片类型文件,对于信任的网址可以正常使用,不信任的网址返回相应的错误图片。在源主机(bt.com)的配置文件中加入以下代码:
[root@www html]# cd /usr/local/nginx/conf
[root@www conf]# vi nginx.conf
location ~* \.(jpg|gif|swf)$ {
valid_referers none blocked *.bt.com bt.com;
if ($invalid_referer) {
rewrite ^/ http://www.bt.com/error.png;
}
}
下面分析一下这段代码:
~* \.(jpg|gif|swf)$:这段正则表达式表示匹配不区分大小写,以.jpg或.gif或.swf结尾的文件
Valid_referers:设置信任的网站,可以正常使用图片。
None :浏览器中referer为空的情况,就是直接在浏览器访问图片。
Blocked :referer不为空的情况 ,但是值被代理或防火墙删除了,这些值不以http://或https://开头。
后面的网址或者域名:referer中包含相关字符串的网址。
If语句:如果链接的来源域名不在valid_referers所列出的列表中,$invalid_referer为1,则执行后面的操作,即进行重写或返回403页面。
把图片error.png放到源主机(bt.com)的工作目录下。
[root@www ~]# cd /usr/local/nginx/html/
[root@www html]# ls
50x.html index.html logo.jpg error.png
这时重启服务器,重新访问http://www.test.com/index.html,显示的是被重写的图片,如图9.6所示,说明防盗链配置成功。
图9.6 返回防盗链图片
4. FPM参数优化
Nginx的PHP解析功能实现如果是交由FPM处理的,为了提高PHP的处理速度,可对FPM模块进行参数的调整。
下面是执行步骤:
1)安装带FPM模块的PHP环境,保证PHP可以正常运行。
2)FPM进程有两种启动方式,由pm参数指定,分别是static和Dynamic,前者将产生固定数据的fpm进程,后者将以动态的方式产生fpm进程。
Static的方式可以使用pm.max_children指定启动的进程数量。Dynamic方式的参数要根据服务器的内存与服务负载进行调整,参数如表9-3所示。
表9-3 Dynamic方式的参数
假设:现有云服务器,运行了个人论坛,内存为1.5G,fpm进程数为20,内存消耗近1G,处理比较慢,对参数进行优化处理。
root@www etc]# cd /usr/local/php5/etc/
[root@www etc]# vi php-fpm.conf
pm=dynamic
pm.max_children=20
pm.start_servers=5
pm.min_spare_servers=2
pm.max_spare_servers=8
FPM启动时有5个进程,最小空闲2个进程,最大空闲8个进程,最多可以有20个进程存在。
,