解决nginx在记录post数据时 中文字符转成16进制的问题【转载】

1. 问题描述

nginx 在获取post数据时候，如果是中文，则转换成16进制显示在日志文件中，如下图所示。

 

Paste_Image.png

日志格式为： log_format postdata '$remote_addr | $request_body | $resp_body';

此篇文章记录下解决此次问题的过程。

最新版本解决方式

适合nginx 1.11.8 以上版本

在nginx 1.11.8 以上版本中log_format 增加了escape=json 参数，在配置日志格式时加上此参数可以不转义变量内容，官方文档-参数说明

日志配置

log_format postdata '$remote_addr | $request_body | $resp_body';
log_format postdata escape=json '$remote_addr | $request_body | $resp_body';

日志输出

 

image.png

第一条日志是不加escape=json 参数后，log_format输出的
第二条日志是加上escape=json 参数后，log_format输出的

2. 软件版本

• 系统 centos 6.7 X86_64
• nginx 1.11.5
• lua-nginx-module 0.10.7
• PHP 5.6.27

测试环境部署见：Nginx 使用lua-nginx-module 来获取post请求中得request和response信息

3. 收集信息

收集信息-阶段1：

在遇到此类问题的时候，我们大多是使用搜索引擎搜索答案，因为这样来的更快一些。当遇到这个问题的时候，我感觉也无从下手，随即在google中搜索答案，没过多久，便找到了同类人，也遇到了这个问题

此次搜索关键字： nginx log 中文 16进制

 

Paste_Image.png

出处：https://groups.google.com/forum/#!topic/openresty/PYvvfj5RKCg

这个里面提到了：

• 为什么会出现这个问题？
  

• 解决办法
  

当时情况，在大量的搜索结果下，刚开始没注意到这里面的问题，认为这个是openresty的解决办法。就继续搜索信息了。

收集信息-阶段2：

经过上面得信息，我们可以得知，nginx现在是把中文字符转换成16进制。

所以关键字变成了：nginx 不支持中文

从这个关键字便发现了下面得信息

 

Paste_Image.png

来自： http://navyaijm.blog.51cto.com/4647068/1082169

从这里面获得了：
- 通过降级nginx来解决问题

这位博主通过过降级nginx 程序来达到支持中文得效果，当时目测这文章是2012年得，比较久远，而且还需要降级，就没有尝试这类方法。

信息收集-阶段3：

这次搜索解决答案也有一段时间了，突然想起了阶段1时发现得解决方法，里面有个命令可以关闭nginx转换16进制得命令。随即搜索关键字改成： nginx log escape characters

通过这个关键字找到了下列有用信息。

 

Paste_Image.png

来自： http://mailman.nginx.org/pipermail/nginx/2008-January/003051.html

从这里面获得了：

• 在2008年得时候，通过这个path，让不可打印得字符转成16进制。
• attachment.bin 文件记录了是哪个源代码文件的补丁。

通过查看这个文件，发现了 ngx_http_log_escape 这函数是转换16进制的。要知道nginx源代码已经被很多国人都阅读过，肯定有相关的解释。

随即关键字变成了： nginx ngx_http_log_escape

通过搜索发现了下列的源码解释

static uintptr_t
ngx_http_log_escape(u_char *dst, u_char *src, size_t size) { ngx_uint_t n; /* 这是十六进制字符表 */ static u_char hex[] = "0123456789ABCDEF"; /* 这是ASCII码表，每一位表示一个符号，其中值为1表示此符号需要转换，值为0表示不需要转换 */ static uint32_t escape[] = { 0xffffffff, /* 1111 1111 1111 1111 1111 1111 1111 1111 */ /* ?>=< ;:98 7654 3210 /.-, +*)( '&%$ #"! */ 0x00000004, /* 0000 0000 0000 0000 0000 0000 0000 0100 */ /* _^] [ZYX WVUT SRQP ONML KJIH GFED CBA@ */ 0x10000000, /* 0001 0000 0000 0000 0000 0000 0000 0000 */ /* ~}| {zyx wvut srqp onml kjih gfed cba` */ 0x80000000, /* 1000 0000 0000 0000 0000 0000 0000 0000 */ 0xffffffff, /* 1111 1111 1111 1111 1111 1111 1111 1111 */ 0xffffffff, /* 1111 1111 1111 1111 1111 1111 1111 1111 */ 0xffffffff, /* 1111 1111 1111 1111 1111 1111 1111 1111 */ 0xffffffff, /* 1111 1111 1111 1111 1111 1111 1111 1111 */ }; if (dst == NULL) { /* find the number of the characters to be escaped */ n = 0; while (size) { if (escape[*src >> 5] & (1 << (*src & 0x1f))) { n++; } src++; size--; } return (uintptr_t) n; /* 返回需要转换的字符总数*/ } while (size) { /* escape[*src >> 5],escape每一行保存了32个符号， 所以右移5位，即除以32就找到src对应的字符保存在escape的行， (1 << (*src & 0x1f))此符号在escape一行中的位置， 相&结果就是判断src符号位是否为1，需不需要转换 */ if (escape[*src >> 5] & (1 << (*src & 0x1f))) { *dst++ = '\'; *dst++ = 'x'; /* 一个字符占一个字节8位，每4位转成一个16进制表示 */ /* 高4位转换成16进制 */ *dst++ = hex[*src >> 4]; /* 低4位转换成16进制*/ *dst++ = hex[*src & 0xf]; src++; } else { /* 不需要转换的字符直接赋值 */ *dst++ = *src++; } size--; } return (uintptr_t) dst; } 

感谢大神：http://blog.csdn.net/l09711/article/details/46712325

从上面解释来看，我们只需要*src不转换16进制就可以。

4. 解决方法

源码文件为：src/http/modules/ngx_http_log_module.c

修改源码如下图所示，

 

Paste_Image.png

然后重新编译，安装nginx

./configure
--prefix=/usr/local/nginx
--user=nginx
--group=nginx
--with-http_ssl_module
--with-http_flv_module
--with-http_stub_status_module --with-http_gzip_static_module --with-http_realip_module --http-client-body-temp-path=/var/tmp/nginx/client/ --http-proxy-temp-path=/var/tmp/nginx/proxy/ --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi --http-scgi-temp-path=/var/tmp/nginx/scgi --with-pcre --add-module=../lua-nginx-module-0.10.7 /usr/local/nginx/sbin/nginx -s stop make -j2 && make install /usr/local/nginx/sbin/nginx 

再次post 数据到nginx里

 

Paste_Image.png

查看日志会发现中文不在转换16进制了。

 

Paste_Image.png

第1-2行，是没有修改源码前，向nginx url post数据，中文被转换成16进制。
第3-5行，修改源码后，中文就不会转换为16进制了。也没有什么乱码。

至此，遇到得问题已解决，在修改源码得情况下，目前还没有发现什么影响之处，如由朋友发现，请联系我lework[@]yeah.net

5. 总结

在遇到错误得时候，我们往往不知道该怎么搜索此类答案，我想大家应该都会把错误信息放在搜索引擎中搜索，关键字要随着搜索得到的信息从而不断变化，才能往根源得问题靠近。在搜索引擎给出的大量信息，要懂得抓取有用的信息，不能忽视已经给出问题答案的信息，即使信息比较久远。像阶段1得情况，我如果仔细阅读上面得解答信息，应该会很快得找到问题所在的根源。

作者：lework
链接：https://www.jianshu.com/p/8f8c2b5ca2d1
來源：简书