大型网站压力测试及优化方案

在网站系统中,用户的访问请求到达服务器,然后服务器返回数据并展示给用户,这个过程要经过很多处理,每一个过程的低效都会影响系统整体表现出来的性能。

木桶理论应用在系统优化中,木桶理论又称短板理论,其核心思想是一只木桶盛水多少,并不取决于最高的木板,而取决于最短的那块木板。木桶原理应用在系统分析中,即系统的最终性能取决于系统中性能表现最差的组件,为了提升系统整体性能,对系统中表现最差的组件进行优化可以得到最好的效果。


在网站系统中,用户的访问请求到达服务器,然后服务器返回数据并展示给用户,这个过程要经过很多处理,每一个过程的低效都会影响系统整体表现出来的性能。按照木桶理论,如果一台服务器性能非常强大,拥有充足的内存资源和CPU资源,但是磁盘I/O性能不足,那么系统的总体性能是取决于当前最慢的磁盘I/O速度,而不是当前最优越的CPU或者内存,此时,磁盘I/O就是系统的性能瓶颈。


典型的比如使用Redis进行存储的系统,由于Redis本身性能非常优秀,通常情况下存储并不会制约系统的性能,在海量请求的情况下,Redis的吞吐量会非常大,这时候制约系统的性能瓶颈就变成网络带宽。压力测试如何实施?


性能测试在大型网站系统的设计和开发中非常重要,通常会和容量预估等工作结合在一起,穿插在系统开发的不同方案。性能测试可以帮助我们及时发现系统的性能短板,评估系统的能力,在这个基础在上再进行针对性的性能优化。同时,压力测试还可以帮助我们验证系统的稳定性和可靠性。


一个完整的性能测试方案通常包括以下几个方面:


1.压力测试及生成性能报告:压力测试一个重点是如何产生压力,通常可以通过自己编写脚本模拟请求,或者使用成熟的压测工具进行。压力测试很重要的一点是如何使得模拟压测的数据尽量真实,越接近真实用户越好。


2.根据性能报告定位系统瓶颈,进行针对性优化,测试和优化的工作可以和日常开发并行,压力测试完成以后,我们会拿到一个压测报告,这个报告通常会告诉我们系统的QPS、TPS、响应时延等数据,这些数据可以让我们对服务器的性能有个整体的了解,发现存在的问题,但是不能帮助我们定位问题。这个时候我们可以从系统的各个组件入手,关注系统的CPU、内存、IO、网络,对比这些环节对整体性能的影响,确定性能问题是系统哪一部分造成的,然后针对性的在系统中逐个优化。


3.估算容量承载能力,合理规划系统资源,进行压力测试的一个重要目的是让现有的服务器资源发挥最大的价值,经过前期的测试和分析,这时候我们对系统整体的性能有了一个认识,对服务器的承载能力有了预估,这个时候我们就可以结合业务规模配置服务器数量,CDN资源等,让最少的资源产生最大的价值。


常用压力测试工具选型:压力测试很关键的一点是如何产生压力,选择哪款测试工具很重要,大的互联网公司如百度/腾讯等,都有专门的测试开发团队,开发公司内部应用的测试工具,以便更好的适应公司的业务,作为SAAS服务的重要部分,几个云服务提供商也纷纷开放了压测及性能监控服务。大多数公司还是会选择自己完成测试工作,这里关注一下常用的压力测试工具。


1.几款流行的压力测试工具


(1)JMeter


Apache JMeter是Apache组织开发的基于Java的压力测试工具,用于对软件做压力测试,它最初被设计用于Web应用测试但后来扩展到其他测试领域。 它可以用于测试静态和动态资源例如静态文件、Java小服务程序、CGI脚本、Java 对象、数据库, FTP服务器, 等等。JMeter 可以用于对服务器、网络或对象模拟巨大的负载,来在不同压力类别下测试它们的强度和分析整体性能。另外,JMeter能够对应用程序做功能回归测试,通过创建带有断言的脚本来验证你的程序是否返回了期望的结果。为了最大限度的灵活性,JMeter允许使用正则表达式创建断言。


(2)LoadRunner


LoadRunner是惠普旗下一款自动负载测试工具,它能预测系统行为,优化性能。LoadRunner强调的是整个企业的系统,它通过模拟实际用户的操作行为和实行实时性能监测,来帮助更快的确认和查找问题。此外,LoadRunner 能支持最宽范的协议和技术,量身定做地提供解决方案。


(3)其他测试工具


Siege是一款开源的压力测试工具,可以根据配置对一个WEB站点进行多用户的并发访问,记录每个用户所有请求过程的相应时间,并在一定数量的并发访问下重复进行。TCPCopy是一种请求复制(所有基于tcp的packets)工具,可以把在线请求导入到测试系统中去。TCPCopy的特点是可以拷贝线上真实流量,模拟用户数据。


2.性能测试工具的横向对比


这里对比主流的 JMeter和LoadRunner,一般来说,除了自研测试工具的公司,互联网公司使用JMeter作为测试工具的较多。