Nginx 模块开发

作者：C++后台开发

2022 年 9 月 15 日
湖南
本文字数：4532 字
阅读完需：约 15 分钟

一、在了解 Nginx 模块开发前，首先得知道在 Nginx 中 http 初始化流程、11 个状态机、http 请求具体流程。

（1）conf 文件加载

　　对 conf 文件内容进行初始化，在命令行执行 nginx -c ./conf/nginx.conf 的之后，开始解析 conf 文件，启动 http 模块（入口：ngx_http_block）。

（2）状态机初始化

　　ngx_http_init_phase_handlers，保存状态机每个阶段需要处理的 handler。

（3）tcp server 启动

　　ngx_http_optimize_servers 里面 ngx_http_init_listening 监听多个端口，这里是在 master 进程监听。

（4）http 处理流程

　　业务处理逻辑是在 worker 进程处理，每一个 worker 都有一个 ngx_worker_process_cycle()函数无限循环的处理，这个函数处理流程：

　　（a）accpet_cb 接收和处理事件

　　（b）处理 request 的 header 和 body

　　（c）产生响应，并发送回客户端

　　一个 HTTP Request 的处理过程涉及到以下几个阶段：

　　　（a）初始化 HTTP Request（读取来自客户端的数据，生成 HTTP Request 对象）；

　　　（b）处理请求头；

　　　（c）处理请求体；

　　　（d）调用与此请求（location）关联的 handler；

　　　（e）依次调用各 phase handler 进行处理。

　　　　　　每一个 phase 就是一个阶段/状态，每个状态包含若干个 handler，依次调用该状态的 handler 对 HTTP Request 进行处理，包括获取 location 配置、产生适当的响应、发送 response header、发送 response body

二、Nginx 模块包括：event、handler、filter、upstream、load-balancer 等，本文主要讲 handler、filter、upstream 等模块的开发；对于这 3 种模块的开发，模块配置指令结构、模块上下文写法类似。

　　（1）handler 模块

　　接收客户端请求并产生输出的模块，每个模块就需要定义三个不同的数据结构去进行存储。

　　　　（a）模块配置信息存储结构

//以hello模块为例typedef struct{ngx_str_t hello_string;ngx_int_t hello_counter;}ngx_http_hello_loc_conf_t;

复制代码

　　　　（b）模块配置指令结构

struct ngx_command_s {ngx_str_t name;//配置指令的名称ngx_uint_t type;//该配置的类型，配置接收参数个数char *(*set)(ngx_conf_t *cf, ngx_command_t *cmd, void *conf);//处理指令handlerngx_uint_t conf;ngx_uint_t offset;void *post;};

复制代码

　　　　一个模块的配置指令是定义在一个静态数组中，包括了指令的名称、指令类型或接收的参数、处理指令的 handler（函数指针，当 nginx 在解析配置的时候，如果遇到这个配置指令，将会把读取到的值传递给这个函数进行分解处理）

　　　　（c）模块上下文结构

//模块上下文结构体，存放回调函数指针，根据需求，添加不同状态相应的处理，否则填NULLstatic ngx_http_module_t ctx = {ngx_int_t (*preconfiguration)(ngx_conf_t *cf),//在创建和读取该模块的配置信息之前被调用ngx_int_t (*postconfiguration)(ngx_conf_t *cf),//在创建和读取该模块的配置信息之后被调用void *(*create_main_conf)(ngx_conf_t *cf),//调用该函数创建本模块位于 http block 的配置信息存储结构char *(*init_main_conf)(ngx_conf_t *cf, void *conf),//调用该函数初始化本模块位于 http block 的配置信息存储结构void *(*create_srv_conf)(ngx_conf_t *cf),//调用该函数创建本模块位于 http server block 的配置信息存储结构，每个 server block 会创建一个char *(*merge_srv_conf)(ngx_conf_t *cf, void *prev, void *conf),//有些配置指令既可以出现在 http block，也可以出现在 http server block 中。那么遇到这种情况，每个 server都会有自己存储结构来存储该 server 的配置，但是在这种情况下 http block 中的配置与 server block 中的配置信息发生冲突的时候，就需要调用此函数进行合并void *(*create_loc_conf)(ngx_conf_t *cf),//调用该函数创建本模块位于 location block 的配置信息存储结构char *(*merge_loc_conf)(ngx_conf_t *cf, void *prev, void *conf)//与 merge_srv_conf 类似，这个也是进行配置值合并的地方};

复制代码

通过上面 8 个回调函数，知道 http 状态信息来源 conf 文件解析，conf 文件中 http、server、location 对应着以上相应的回调函数。

【文章福利】另外小编还整理了一些 C/C++后台开发教学视频，相关面试题，后台学习路线图免费分享，需要的可以自行添加：Q群：720209036 点击加入~ 群文件共享

小编强力推荐 C++后台开发免费学习地址：C/C++Linux服务器开发高级架构师/C++后台开发架构师

模块的定义：

//模块定义ngx_module_t ngx_http_pagecount_module = {    NGX_MODULE_V1,//版本，宏定义    &count_ctx,//模块上下文    count_commands,//模块配置指令    NGX_HTTP_MODULE,    NULL,    NULL,    NULL,    NULL,    NULL,    NULL,    NULL,    NGX_MODULE_V1_PADDING//宏定义};

复制代码

　　任何模块都可以从两个角度分析，一个是抓住执行 nginx -c conf/nginx.conf，模块配置指令的入口 handler，另一个就接收客户端请求时，模块执行的 handler。

　　挂载 handler，一种是按处理阶段挂载；另外一种挂载方式就是按需挂载。

　　（a）按处理阶段挂载，就是根据需求，可挂载在 11 个状态机的某一个阶段（在上下文结构体中）

　　（b）按需挂载，也被称为 content handler，某个模块对某个 location 进行了处理以后，发现符合自己处理的逻辑，而且也没有必要再调用 NGX_HTTP_CONTENT_PHASE 阶段的其它 handler 进行处理的时候，就动态挂载上这个 handler。

（2）Filter 模块

　　过滤模块是过滤响应头和内容的模块，可以对回复的头和内容进行处理。过滤模块的调用是有顺序的，它的顺序在编译时就已经确定，可以打开 ngx_module.c 文件，按着 ngx_modules 数组逆序执行。在过滤模块中，所有输出的内容都是通过一条单链表所组成，Nginx 都是读到一部分的内容就放到链表，然后输出出去（ngx_http_write_filter_module）。

　　ngx_http_top_header_filter 是一个全局变量。当编译进一个 filter 模块的时候，就被赋值为当前 filter 模块的处理函数。而 ngx_http_next_header_filter 是一个局部全局变量，它保存了编译前上一个 filter 模块的处理函数。所以整体看来，就像用全局变量组成的一条单向链表。每个模块想执行下一个过滤函数，只要调用一下 ngx_http_next_header_filter 这个局部变量。而整个过滤模块链的入口，需要调用 ngx_http_top_header_filter 这个全局变量。ngx_http_top_body_filter 的行为与 header fitler 类似在初始化时，设置过滤块链的入口。

//解析完conf后，设置运行时的回调函数//使用头插法，将header_filter和body_filter插入filter队列头部static ngx_int_t ngx_http_myfilter_init(ngx_conf_t *cf){    ngx_http_next_header_filter = ngx_http_top_header_filter;    ngx_http_top_header_filter = ngx_http_myfilter_header_filter;     ngx_http_next_body_filter = ngx_http_top_body_filter;    ngx_http_top_body_filter = ngx_http_myfilter_body_filter;    return NGX_OK;}

复制代码

　　响应头过滤主要的用处是处理 http 响应头，可以根据实际情况对响应头进行修改、添加或删除，而且只调用一次，所以一般可作过滤模块的初始化工作，入口函数如下：

static ngx_int_t ngx_http_myfilter_header_filter(ngx_http_request_t *r){        ..........        return ngx_http_top_header_filter(r);}

复制代码

　Nginx 把 HTTP 响应头的存储方式想象成一个 hash 表，在 Nginx 内部可以很方便地查找和修改各个响应头部，ngx_http_header_filter_module 过滤模块把所有的 HTTP 头组合成一个完整的 buffer，最终 ngx_http_write_filter_module 过滤模块把 buffer 输出。

　　响应体过滤函数，ngx_http_top_body_filter （指向 ngx_http_myfilter_body_filter）这个函数每个请求可能会被执行多次，响应体过滤函数的格式类似这样：

static ngx_int_t ngx_http_myfilter_body_filter(ngx_http_request_t *r, ngx_chain_t *in){    ..........    return ngx_http_next_body_filter(r,c1);}

复制代码

（3）Upstream 模块

　　upstream 模块实现反向代理的功能，将真正的请求转发到后端服务器上，并从后端服务器上读取响应，发回客户端；upstream 模块是一种特殊的 handler，只不过响应内容不是由自己产生，而是从后端服务器上读取的。

　　upstream 一开始的配置指令、模块上下文等都与 handler 类似，在 memcached 的例子中，可以观察 ngx_http_memcached_handler 的代码，可以发现，这个固定的操作流程是

　　a.创建 upstream 数据结构

if (ngx_http_upstream_create(r) != NGX_OK) {return NGX_HTTP_INTERNAL_SERVER_ERROR;}

复制代码

　b.设置模块的 tag 和 schema

u = r->upstream;ngx_str_set(&u->schema, "memcached://");u->output.tag = (ngx_buf_tag_t) &ngx_http_memcached_module;

复制代码

　c.设置 upstream 的后端服务器列表数据结构

mlcf = ngx_http_get_module_loc_conf(r,ngx_http_memcached_module);u->conf = &mlcf->upstream;

复制代码

　　d.设置 upstream 回调函数

　　upstream 的回调函数列表如下：

　　此时，回调函数设置如下：

u->create_request = ngx_http_memcached_create_request;u->reinit_request = ngx_http_memcached_reinit_request;u->process_header = ngx_http_memcached_process_header;u->abort_request = ngx_http_memcached_abort_request;u->finalize_request = ngx_http_memcached_finalize_request;u->input_filter_init = ngx_http_memcached_filter_init;u->input_filter = ngx_http_memcached_filter;

复制代码

　　e.创建并设置 upstream 环境数据结构

ctx = ngx_palloc(r->pool, sizeof(ngx_http_memcached_ctx_t));if (ctx == NULL) {return NGX_HTTP_INTERNAL_SERVER_ERROR;}ctx->rest = NGX_HTTP_MEMCACHED_END;ctx->request = r;ngx_http_set_ctx(r, ctx, ngx_http_memcached_module);u->input_filter_ctx = ctx;

复制代码

　　f.完成 upstream 初始化并进行收尾工作

r->main->count++;ngx_http_upstream_init(r);return NGX_DONE;

复制代码

　　其中第 b、d 两步很容易理解，不同的模块设置的标志和使用的回调函数肯定不同。第 e 步也不难理解，只有第 c 步是最为晦涩的，不同的模块在取得后端服务器列表时，策略的差异非常大，有如 memcached 这样简单明了的，也有如 proxy 那样逻辑复杂的。这个问题先记下来，等把 memcached 剖析清楚了，再单独讨论。

　　upstream 模块是从 handler 模块发展而来，指令系统和模块生效方式与 handler 模块无异。不同之处在于，upstream 模块在 handler 函数中设置众多回调函数。实际工作都是由这些回调函数完成的。每个回调函数都是在 upstream 的某个固定阶段执行，各司其职，大部分回调函数一般不会真正用到。 upstream 最重要的回调函数是 create_request 、process_header 和 input_filter，他们共同实现了与后端服务器的协议的解析部分。