大型网站技术架构之性能

如上图所示纵坐标表示系统的吞吐量，随着并发数据的不断增加，刚开始的时候就像在a~b这个区间里，系统的吞吐量会不断的增大，在b点的时候增大到我们设计的逾期目标，此时我们已经完成了性能测试。这个时候随着并发数量的继续增大，系统的吞吐量的增长逐渐放缓慢，直到达到如上图所示的c点最大值点，这是系统的最大负载点，也成为负载测试点。再次随着并发数量的不断增大系统的吞吐量不增返回下降了，直到达到资源的崩溃点d点，此时称为压力测试点。

1.2.6.2 并发用户响应时间曲线

随着并发用户的不断增长，系统的处理能力与用户访问的等待时间如上图所示，等待的响应时间将成一个线性平方阶的增长。

如上图所示是一个性能测试报告样例，随着并发数目的增长可以看出各个阶段的测试结果。

1.3网站性能优化

性能问题分析，先看处理的各个环节的日志，分析哪个环节响应的时间不合理，超过了逾期。性能因素先从内存，磁盘，网络，cpu入手，看是资源不足，还是代码设计不合理。

1.3.1 web前端性能优化

1.3.1.1减少http请求

手段有合并CSS,合并js，合并图片。通过把浏览器一次访问请求的多个CSS文件，JS文件合并成一个，减少页面端的请求加载。通过把多个图片合并成一个进行请求，再通过CSS来偏移鼠标点击操作，响应用户的请求。使用浏览器缓存策略的网站，如果要更新10个图片，不宜一次更新，10个图标文件，而应逐个更新，避免缓存失效，批量更新给服务器造成负载棸增，网络堵塞的情况。

1.3.1.2启用压缩

在服务器断对文件进行压缩，在浏览器断对文件进行解压，对CSS,HTML.javascipt启用gzip的压缩策略，进行压缩。

1.3.1.3 css放上面,js放在下面

浏览器加载完整个CSS后会对网页进行渲染，最好的做法是将css放在上面。让浏览器尽快下载CSS，最快的速度给用户渲染静态页面。js则与之相反。js加载完以后会立即执行，造成页面加载缓慢，所以要放在页面的底部。

1.3.1.4减少cookies的数据传输。

由于再发送请求的时候，浏览器会带上cookies进行传输，网络传输过程中由于cookies中携带了大量的数据，所以哪些数据应该写入cookies中应该慎重进行考虑。减少cookies中数据量的传输。另一方面，对于静态资源的访问，发送cookies是没有意义的。所以尽量使用动静分离的技术，把静态资源的请求域名，与动态数据请求的域名分开，减少cookies的传输次数。

1.3.1.5使用浏览器缓存

对于一个网站而言，css,js,图片,logo等的静态资源更新的频率比较低。而这些文件几乎是每次http请求都需要的，通过设置http的cache-control与expires属性，可以设定缓存，并且指定缓存的失效时间，失效天数。如果某个js文件有更新，就更新js文件的名字重新生成js，并更新html的引用。

1.3.1.6使用CDN加速

cdn本质上是一个缓存，把数据缓存在离用户访问最近的地方，可以使用户以最快的速度获取到缓存。

cdn可以缓存一些静态资源，如图片，文件， css,js脚本等等，但这些资源请求的频率很高，所以可以大大改善网页的打开速度。

1.3.1.7反向代理

反向代理服务器，位于机房的一侧，代理用户的请求。可以通过在反向代理服务器端配置缓存，静态内容缓存在反向代理服务器上，加速web请求的速度，减轻web访问的压力。

1.3.2应用服务器性能优化

1.3.2.1缓存的基本原理

缓存是指将数据缓存在，相对较高速度的存储介质中，供系统处理。一方面缓存速度快，可以减少数据访问的时间。一方面缓存的数据是经过计算处理得到的，不需要再次经过计算就可以直接获得。因此缓存还起到减少计算时间的作用。缓存的本质就是一个内存中的数组，链表，或者哈希表

如上图所示，其实缓存就可以理解成为内存，计算机可以快速读取的，灵活的存储空间。缓存主要用来存放那些读写比，比较高的数据。比如商品类目，菜单模块，热门词条，等这些数据，访问的次数大于更新的次数。还有就是经过一次计算，后面经常查询的数据。这样的数据应该放置到缓存提高访问效率。

使用缓存进行工作的时候，在用户进行数据查询的时候，先去缓存中进行查询，如果缓存中没有数据，再通过数据库进行查询，把数据库中查询出来的数据备份一份到缓存中，如果缓存中有数据就直接返回给客户，避免了访问数据库的操作。如果用户更新数据库的数据，为了避免数据库与缓存的不一致性，可以同步更新缓存或者删除缓存的数据。网站数据访问，遵循二八定律，80%的访问落在20%的数据上，所以要把这20%的数据缓存起来，改善性能，提高访问速度，减少存储的压力。不要滥用缓存，徒增系统的负担，一般来说缓存中的数据至少是读写比为2：1的数据。如果数据访问不遵循二八定律，没有访问热点，那么缓存就没有实际的意义。

使用缓存要保证缓存的可用性，当使用缓存的地方多了，数据库已经习惯了缓存的存在，如果有一天缓存发生雪崩，将可能由于大量的访问命中数据库，造成数据库，压力过大而雪崩。所以要构造分布式缓存集群。

当部分缓存雪崩以后，只是部分缓存数据丢失，而不影响数据库，不对数据库造成压力。最好在系统启动的时候就把热点数据加载好，这叫做缓存预热，这样等系统启动以后访问的速度自然就很高了。

1.3.3异步操作

使用消息队列将系统异步化，改善网站的系统性能。

如上图所示是不使用消息队列的情况。（图一）

如上图所示是添加了消息队列的情况（图二）

(1) 如上图一所示，不使用消息队列的情况下，用户请求的数据要写入数据库，写入成功以后再响应客户，造成响应的延迟，高并发的情况下给数据库造成了很大的压力。图二中消息经过消息队列，到达数据库。用户请求送入消息队列之后就可以直接返回，提高用户的响应。而且高并发的情况下数据通过消息队列排队入库，不会给数据库，造成很大的负载压力。

消息队列能够很好的削峰的作用，比如12306，淘宝网站的秒杀等等的高并发的场景，就可以通过消息队列来消除峰值，进行排队等待。

如上图所示是通过消息队列进行峰值消除的一个曲线图。由于消息队列中的数据写入数据库可能失败，所示要适当修正业务流程。有些重要的事情比如结订单提交，如果放入消息队列之后不能立即提示用户，计较成功，而可以通过异步邮件通知的方式，在后面通知客户。让能晚点做的事情尽量晚点做。

1.3.4使用集群

高并发场景下负载均衡策略为一个应用构建了一个由多台服务器组成的集群。将并发访问请求分发到多台服务器上去处理。避免一台服务器因负载压力过大而响应缓慢。使用户请求具有更好的响应延迟特性。

1.3.5代码优化

   由于线程比进程更轻量，占用更少的系统资源，切换代价更小，所以目前主要的web服务器都采用多线程的方式响应用户的请求。因此网站开发天然就是多线程的。

   为什么使用多线程，原因就在于IO阻塞与多CPU.IO操作的时候会被阻塞，并释放CPU等待IO操作完成。由于IO操作通常需要较长的时间，这时可以调度其他线程进行处理。比如一个16核的CPU要提高cpu的利用率，就得使用多线程。多线程的使用要注意线程安全问题。不管有没有进行多线程编程，用户的访问都是并发的提交的，所有资源的访问都可能是并发的访问。线程安全的办法

1.3.5.1 将对象设计成无状态的对象

所谓无状态对象是本身不存储信息的，比如servlet,贫血模式等等的。我们的IXXXService以及底层实现，都是无状态的，因为它们不存储信息。而User，Map等的本来就是用来存储数据的对象都是有状态的，要考虑并发问题。

1.3.5.2 使用局部对象

线程内部对象，会被每一个线程独立创建，除非有意识的将这些对象传递给其他线程，否则不会出现对象被多线程并发访问。并发访问资源时，通过锁的方式让多线程并发操作，转化为顺序操作。避免资源被同步修改。

1.3.5.3资源复用

系统运行时要尽量减少开销很大的资源被创建与销毁。从编程的角度，资源的复用主要有两种模式：单例模式与对象池。web开发中从service到dao的对象都是无状态的，所以用单例也是自然的事了。对象池模式通过复用对象实例，减少创建和销毁资源消耗，比如频繁的打开或者关闭数据库连接是宰难性的。应用程序数据库的连接基本都使用连接池的方式，连接池对象创建好以后放到对象池当中，应用程序连接的时候就从对象池中取出一个连接来，用完以后再把连接放回去。再创建线程去处理负载业务的时候，可以才采用线程池的方式，提高资源的复用。

1.3.5.4 数据结构

在不同的场景下，合理使用不同的数据结构，可以改善程序的性能。比如我们的hash表，并发下的hash表等等的。在这个时间宝贵的年代，我们应该牺牲空间来换取时间。

1.3.5.5 垃圾回收

JVM虚拟机可以分为，堆区，栈区，方法区等等的，理解JVM的内存模型，有助于提高我们解决问题的能力与性能优化的能力。

JVM将应用程序的堆空间分为年轻代与老年代，又将年轻代分为eden,from,to区，新建对象总是在eden区被创建，eden区满了以后会触发一次yuongGC,通过复制算法复制到from区。整个eden区都是未被使用的空间，可以继续创建对象。再满，再触发一次GC,把在使用的eden中与from中的对象复制到to区。下一次GC又从to区复制到from区，这样来回的复制，达到阈值以后，对象还未释放，就复制到Old Generation区。当Old中的空间用完以后，就会触发一次Full GC，进行全量回收，全量回收的影响相对比较大，容易出现 java界所谓的stop the world的现象。

1.3.6 存储性能的优化

加索引

加物化视图