OpenRestry实战一：概念和应用场景

65 阅读 0 评论 43 点赞

我是靠谱客的博主动听大神，最近开发中收集的这篇文章主要介绍OpenRestry实战一：概念和应用场景，觉得挺不错的，现在分享给大家，希望可以做个参考。

概述

openrestry介绍：

OpenResty是一个通过Lua扩展Nginx实现的可伸缩的Web平台，内部集成了大量精良的Lua库、第三方模块以及大多数的依赖项。
用于方便地搭建能够处理超高并发、扩展性极高的动态Web应用、Web服务和动态网关。
功能和nginx类似，就是由于支持lua动态脚本，所以更加灵活，可以实现鉴权、限流、分流、日志记录、灰度发布等功能。
OpenResty通过Lua脚本扩展nginx功能，可提供负载均衡、请求路由、安全认证、服务鉴权、流量控制与日志监控等服务。

openrestry web应用集成了nginx和lua，下面分别介绍各个概念及应用场景：

Nginx:

Nginx设计为一个主进程多个工作进程的工作模式，每个进程是单线程来处理多个连接，而且每个工作进程采用了非阻塞I/O来处理多个连接，从而减少了线程上下文切换，
从而实现了公认的高性能、高并发；
因此在生成环境中会通过把CPU绑定给Nginx工作进程从而提升其性能；
另外因为单线程工作模式的特点，内存占用就非常少了。
Nginx更改配置重启速度非常快，可以毫秒级，而且支持不停止Nginx进行升级Nginx版本、动态重载Nginx配置。
Nginx模块也是非常多，功能也很强劲，不仅可以作为http负载均衡，Nginx发布1.9.0版本还支持TCP负载均衡，还可以很容易的实现内容缓存、web服务器、反向代理、访问控制等功能。

Lua:

Lua是一种轻量级、可嵌入式的脚本语言，这样可以非常容易的嵌入到其他语言中使用。
另外Lua提供了协程并发，即以同步调用的方式进行异步执行，从而实现并发。
比起回调机制的并发来说代码更容易编写和理解，排查问题也会容易。
Lua还提供了闭包机制，函数可以作为First Class Value进行参数传递，另外其实现了标记清除垃圾收集。
因为Lua的小巧轻量级，可以在Nginx中嵌入Lua VM，请求的时候创建一个VM，请求结束的时候回收VM。
Lua应用场景：游戏开发、独立应用脚本、Web应用脚本、扩展和数据库插件如：MySQL Proxy和MySQL WorkBench、安全系统，如入侵检测系统、商城类的秒杀功能。

ngx_lua:

ngx_lua是Nginx的一个模块，将Lua嵌入到Nginx中，从而可以使用Lua来编写脚本，这样就可以使用Lua编写应用脚本，部署到Nginx中运行，即Nginx变成了一个Web容器；这样开发人员就可以使用Lua语言开发高性能Web应用了。
ngx_lua提供了与Nginx交互的很多的API，对于开发人员来说只需要学习这些API就可以进行功能开发，而对于开发web应用来说，如果接触过Servlet的话，其开发和Servlet类似，无外乎就是知道接收请求、参数解析、功能处理、返回响应这几步的API是什么样子的。

应用场景：
理论上可以使用ngx_lua开发各种复杂的web应用，不过Lua是一种脚本/动态语言，不适合业务逻辑比较重的场景，适合小巧的应用场景，代码行数保持在几十行到几千行。
目前见到的一些应用场景如下：
1.web应用：会进行一些业务逻辑处理，甚至进行耗CPU的模板渲染，一般流程：mysql/redis/http获取数据、业务处理、产生JSON/XML/模板渲染内容，比如京东的列表页/商品详情页，咨询类的应用首页；
2.接入网关：实现如数据校验前置、缓存前置、数据过滤、API请求聚合、AB测试、灰度发布、降级、监控等功能，比如京东的交易大Nginx节点、无线部门正在开发的无线网关、单品页统一服务、实时价格、动态服务；
3.Web防火墙：可以进行IP/URL/UserAgent/Referer黑名单、限流等功能；
4.缓存服务器：可以对响应内容进行缓存，减少到后端的请求，从而提升性能；
5.其他：如静态资源服务器、消息推送服务、缩略图裁剪等。

nginx+lua架构：

核心接入Nginx会做如下事情：

1、动态负载均衡；
    (1)普通流量走一致性哈希，提升命中率；热点流量走轮训减少单服务器压力；
    (2)根据请求特征将流量分配到不同分组并限流（爬虫或者流量大的IP）；
    (3)动态流量（动态增加upstream或者减少upstream或者动态负载均衡）可以使用balancer_by_lua或者 
       微博开源的upsync；
2、防DDOS攻击限流：可以将请求日志推送到实时计算集群，然后将需要限流的IP推送到核心Nginx进行限流；
3、非法请求过滤：比如应该有Referer却没有，或者应该带着Cookie却没有Cookie；
4、请求聚合：比如请求的是http://c.3.cn/proxy?methods=a,b,c，核心接入Nginx会在服务端把Nginx并发的请求并把结果聚合然后一次性吐出；
5、请求头过滤：有些业务是不需要请求头的，因此可以在往业务Nginx转发时把这些数据过滤掉；
6、缓存服务：使用Nginx Proxy Cache实现内容页面的缓存；

业务Nginx会做如下事情：

1、缓存：对于读服务会使用大量的缓存来提升性能，我们在设计时主要有如下缓存应用：
首先读取Nginx本地缓存Shared Dict或者Nginx Proxy Cache，如果有直接返回内容给用户；
如果本地缓存不命中，则会读取分布式缓存如Redis，如果有直接返回；
如果还是不命中则回源到Tomcat应用读取DB或调用服务获取数据。
另外我们会按照维度进行数据的缓存。
2、业务逻辑：我们会进行一些数据校验/过滤逻辑前置（如商品ID必须是数字）、业务逻辑前置（获取原子数据，然后在Nginx上写业务逻辑）。
3、细粒度限流：按照接口特征和接口吞吐量来实现动态限流，比如后端服务快扛不住了，那我们就需要进行限流，被限流的请求作为降级请求处理；
通过lua-resty-limit-traffic可以通过编程实现更灵活的降级逻辑，如根据用户、根据URL等等各种规则，如降级了是让用户请求等待（比如sleep 100ms，这样用户请求就慢下来了，但是服务还是可用）还是返回降级内容。
4、降级：降级主要有两种：主动降级和被动降级；如请求量太大扛不住了，那我们需要主动降级；如后端挂了或者被限流了或者后端超时了，那我们需要被动降级。
    被动降级方案可以是：
	1)返回默认数据如库存默认有货；
	2)返回静态页如预先生成的静态页；
	3)部分用户降级，告诉部分用户等待下再操作；
	4)直接降级，服务没数据，比如商品页面的规格参数不展示；
	5)只降级回源服务，即可以读取缓存的数据返回，实现部分可用，但是不会回源处理；
5、AB测试/灰度发布：比如要上一个新的接口，可以通过在业务Nginx通过Lua写复杂的业务规则实现不同的人看到不同的版本。
6、服务质量监控：我们可以记录请求响应时间、缓存响应时间、反向代理服务响应时间来详细了解到底哪块服务慢了；另外记录非200状态码错误来了解服务的可用率。

OpenResty处理请求大致分为四个阶段，可在不同阶段使用lua脚本来定制不同行为：

set_by_lua* : 流程分支处理判断变量初始化
rewrite_by_lua* : 转发、重定向、缓存等功能(例如特定请求代理到外网)
access_by_lua* : IP 准入、接口权限等情况集中处理(例如配合 iptable 完成简单防火墙)
content_by_lua* : 内容生成
header_filter_by_lua* : 响应头部过滤处理(例如添加头部信息)
body_filter_by_lua* : 响应体过滤处理(例如完成应答内容统一成大写)
执行阶段概念：

log_by_lua* : 会话完成后本地异步完成日志记录(日志可以记录在本地，还可以同步到其他机器)
实际上我们只使用其中一个阶段
content_by_lua* ，也可以完成所有的处理。但这样做，会让我们的代码比较臃肿，越到后期越发难以维护。把我们的逻辑放在不同阶段，分工明确，代码独立，后期发力可以有很多有意思的玩法。