本文主要帮助大家熟悉 Nginx 有哪些应用场景、Nginx 特点和架构模型以及相关流程、Nginx 定制化开发的几种模块分类。读完本文你将对 Nginx 有一定的认识。
图片来自 Pexels
本文将围绕如下几个部分进行讲解：
- Nginx 简介及特点
- Nginx 应用场景
- Nginx 框架模型介绍
- Nginx 内部流程介绍
- Nginx 自定义模块开发介绍
- Nginx 核心时间点模块介绍
- Nginx 分流模块介绍
- Nginx 动态 upstream 模块介绍
- Nginx query_upstrem 模块介绍
- Nginx query_conf 模块介绍
- Nginx 共享内存支持 Redis 协议模块介绍
- Nginx 日志回放压测工具介绍
Nginx 简介以及特点
Nginx (engine x) 是一个高性能的 Web 服务器和反向代理服务器，也是一个 IMAP/POP3/SMTP 服务器：
- 它由俄罗斯程序员 Igor Sysoev 于 2002 年开始开发。
- Nginx 是增长最快的 Web 服务器，市场份额已达 33.3％。
- 全球使用量排名第二，2011 年成立商业公司。
Nginx 社区分支：
- Openresty：作者 @agentzh（章宜春）开发的，最大特点是引入了 ngx_lua 模块，支持使用 Lua 开发插件，并且集合了很多丰富的模块，以及 Lua 库。
- Tengine：主要是淘宝团队开发。特点是融入了因淘宝自身的一些业务带来的新功能。
- Nginx 官方版本，更新迭代比较快，并且提供免费版本和商业版本。
Nginx 源码结构（代码量大约 11 万行 C 代码）：
- 源代码目录结构 Core（主干和基础设置）
- Event（事件驱动模型和不同的 IO 复用模块）
- HTTP（HTTP 服务器和模块）
- Mail（邮件代理服务器和模块）
- OS（操作系统相关的实现）
- Misc（杂项）
Nginx 特点如下：
- 反向代理，负载均衡器
- 高可靠性、单 Master 多 Worker 模式
- 高可扩展性、高度模块化
- 非阻塞
- 事件驱动
- 低内存消耗
- 热部署
Nginx 应用场景
Nginx 的应用场景如下：
- 静态文件服务器
- 反向代理，负载均衡
- 安全防御
- 智能路由（企业级灰度测试、地图 POI 一键切流）
- 灰度发布
- 静态化
- 消息推送
- 图片实时压缩
- 防盗链
Nginx 框架模型介绍
进程组件角色：
- Master 进程：监视工作进程的状态；当工作进程死掉后重启一个新的；处理信号和通知工作进程。
- Worker 进程：处理客户端请求，从主进程处获得信号做相应的事情。
- Cache Loader 进程：加载缓存索引文件信息，然后退出。
- Cache Manager进程：管理磁盘的缓存大小，超过预定值大小后最少使用数据将被删除。
Nginx 的框架模型如下图：
框架模型流程如下图：
Nginx 内部流程介绍
Nginx 框架模型流程如下图：
Master 初始化流程，如下图：
Worker 初始化：
Worker 初始化流程图如下：
静态文件请求 IO 流程如下图：
HTTP 请求流程如下图：
HTTP 请求 11 个阶段，如下图所示：
upstream模块：
- 访问第三方 Server 服务器
- 底层 HTTP 通信非常完善
- 异步非阻塞
- 上下游内存零拷贝，节省内存
- 支持自定义模块开发
upstream 框架流程，如下图：
upstream 内部流程，如下图：
反向代理流程，如下图：
Nginx 定制化模块开发
Nginx 的模块化设计特点如下：
- 高度抽象的模块接口
- 模块接口非常简单，具有很高的灵活性
- 配置模块的设计
- 核心模块接口的简单化
- 多层次、多类别的模块设计
内部核心模块：
Handler 模块：接受来自客户端的请求并构建响应头和响应体。
Filter 模块：过滤（filter）模块是过滤响应头和内容的模块，可以对回复的头和内容进行处理。它的处理时间在获取回复内容之后，向用户发送响应之前。
Upstream 模块：使 Nginx 跨越单机的限制，完成网络数据的接收、处理和转发，纯异步的访问后端服务。
Load_Balance：负载均衡模块，实现特定的算法，在众多的后端服务器中，选择一个服务器出来作为某个请求的转发服务器。
ngx_lua 模块：
- 脚本语言
- 内存开销小
- 运行速度快
- 强大的 Lua 协程
- 非阻塞
- 业务逻辑以自然逻辑书写
定制化开发 Demo
Handler 模块：
- 编写 config 文件
- 编写模块产生内容响应信息
#配置文件：
server{
...
locationtest{
test_counteron;
}
}
#config
ngx_addon_name=ngx_http_test_module
HTTP_MODULES="$HTTP_MODULESngx_http_test_module"
NGX_ADDON_SRCS="$NGX_ADDON_SRCS$ngx_addon_dir/ngx_http_test_module.c"
#ngx_http_test_module.c
staticngx_int_t
ngx_http_test_handler(ngx_http_request_t*r)
{
ngx_int_trc;
ngx_buf_t*b;
ngx_chain_tout;
ngx_http_test_conf_t*lrcf;
ngx_str_tngx_test_string=ngx_string("hellotest");
lrcf=ngx_http_get_module_loc_conf(r,ngx_http_test_module);
if(lrcf->test_counter==0){
returnNGX_DECLINED;
}
/*weresponseto'GET'and'HEAD'requestsonly*/
if(!(r->method&(NGX_HTTP_GET|NGX_HTTP_HEAD))){
returnNGX_HTTP_NOT_ALLOWED;
}
/*discardrequestbody,sincewedon'tneedithere*/
rc=ngx_http_discard_request_body(r);
if(rc!=NGX_OK){
returnrc;
}
/*setthe'Content-type'header*/
/*
*r->headers_out.content_type.len=sizeof("text/html")-1;
*r->headers_out.content_type.data=(u_char*)"text/html";
*/
ngx_str_set(&r->headers_out.content_type,"text/html");
/*sendtheheaderonly,iftherequesttypeishttp'HEAD'*/
if(r->method==NGX_HTTP_HEAD){
r->headers_out.status=NGX_HTTP_OK;
r->headers_out.content_length_n=ngx_test_string.len;
returnngx_http_send_header(r);
}
/*setthestatusline*/
r->headers_out.status=NGX_HTTP_OK;
r->headers_out.content_length_n=ngx_test_string.len;
/*sendtheheadersofyourresponse*/
rc=ngx_http_send_header(r);
if(rc==NGX_ERROR||rc>NGX_OK||r->header_only){
returnrc;
}
/*allocateabufferforyourresponsebody*/
b=ngx_pcalloc(r->pool,sizeof(ngx_buf_t));
if(b==NULL){
returnNGX_HTTP_INTERNAL_SERVER_ERROR;
}
/*attachthisbuffertothebufferchain*/
out.buf=b;
out.next=NULL;
/*adjustthepointersofthebuffer*/
b->pos=ngx_test_string.data;
b->last=ngx_test_string.data ngx_test_string.len;
b->memory=1;/*thisbufferisinmemory*/
b->last_buf=1;/*thisisthelastbufferinthebufferchain*/
/*sendthebufferchainofyourresponse*/
returnngx_http_output_filter(r,&out);
}
Nginx 核心时间点模块介绍
解决接入层故障定位慢的问题，帮助 OP 快速判定问题根因，优先自证清白，提高接入层高效的生产力。
Nginx 分流模块介绍
Nginx 分流模块特点如下：
- 实现非常灵活的动态的修改策略从而进行切流量。
- 实现平滑无损的方式进行流量的切换。
- 通过秒级切换流量可以缩小影响范围，从而减少损失。
- 按照某一城市或者某个特征，秒级进行切换流量或者禁用流量。
- 容忍单机房级别容量故障，缩短了单机房故障的止损时间。
- 快速的将流量隔离或者流量抽样。
- 高效的灰度测试，提高生产力。
Nginx 动态 upstream 模块介绍
让接入层可以适配动态调度的云环境，实现服务的平滑上下线、弹性扩/缩容。
从而提高接入层高效的生产力以及稳定性，保证业务流量的平滑无损。
Nginx query_upstream 模块介绍
链路追踪，梳理接口到后端链路的情况。查询 location 接口对应 upstream server 信息。
Nginx query_conf 模块介绍
获取 Nginx 配置文件格式化为 json 格式信息：
Nginx 共享内存支持 Redis 协议模块介绍
根据配置文件来动态的添加共享内存：
https://github.com/lidaohang/ngx_shm_dict
ngx_shm_dict：共享内存核心模块（红黑树，队列）
ngx_shm_dict_manager：添加定时器事件，定时的清除共享内存中过期的 Key，添加读事件，支持 Redis 协议，通过 redis-cli get，set，del，ttl
ngx_shm_dict_view：共享内存查看
Nginx 日志回放压测工具
解析日志进行回放压测，模拟后端服务器慢等各种异常情况 ：
https://github.com/lidaohang/playback-testing
方案说明：
- 客户端解析 access.log 构建请求的 host，port，url，body。
- 把后端响应时间，后端响应状态码，后端响应大小放入 header 头中。
- 后端服务器获取相应的 header，进行模拟响应 body 大小，响应状态码，响应时间。
使用方式：
- 拷贝需要测试的 access.log 的日志到 logs 文件夹里面。
- 搭建需要测试的 Nginx 服务器，并且配置 upstream 指向后端服务器断端口
- 启动后端服务器实例
server/backserver/main.go
- 进行压测
bin/wrk-c30-t1-sconf/nginx_log.luahttp://localhost:8095
作者：李航
简介：多年的底层开发经验，在高性能 Nginx 开发和分布式缓存 Redis Cluster 有着丰富的经验，目前从事分布式存储工作。先后在 58 同城、汽车之家、优酷土豆集团工作。目前供职于滴滴基础平台-技术专家岗位，主要负责分布式 Ceph 系统。个人主要关注的技术领域：高性能 Nginx 开发、分布式缓存、分布式存储。
编辑：陶家龙
征稿：有投稿、寻求报道意向技术人请联络 editor@51cto.com
,
