性能测试之监控指标

测试场景

测试场景类型有性能测试、负载测试、压力测试、稳定性测试。

性能测试，是指以性能预期目标为前提，对系统不断施加压力，验证系统在资源可接受范围内，是否能达到性能预期。运用场景：此类型的测试目前最常见。每个项目的性能点，都需要做性能测试。

负载测试，狭义的负载测试，是指对系统不断地增加压力或增加一定压力下的持续时间，直到系统的某项或多项性能指标达到安全临界值，例如某种资源已经达到饱和状态等。运用场景：此类型的测试目前运用得比较少。一般情况下，是以服务器资源安全临界值为界限的测试。如果要模拟某个应用在指定服务器上最大且安全的负载量，则属于负载测试。

压力测试，是指超过安全负载的情况下，对系统不断施加压力，是通过确定一个系统的瓶颈或不能接收用户请求的性能点，来获得系统能提供的最大服务级别的测试。运用场景：此类型的测试目前运用得比较少。但对于大型的共享中心或者核心的应用也会用到。

稳定性测试，是指被测试系统在特定硬件、软件、网络环境条件下，给系统加载一定业务压力，使系统运行一段较长时间，以此检测系统是否稳定，一般稳定性测试时间为n*12小时。运用场景：此类型的测试目前也最常见，针对需要长时间稳定运行的性能点，需要执行稳定性测试。往往在一个项目的性能测试过程中，会划分出优先级较高的性能点，做稳定性测试。

性能指标

• PV: PageView, 页面浏览量或点击量，用户每次刷新即被计算一次；用户的一次刷新，给服务器造成了一次请求。

• UV: UniqueVisitor, 访问你网站的一台计算机客户端为一个访客，0:00 - 24:00 内相同的客户端仅记一次。

• TPS: Transaction Per Second 每秒系统处理的交易或事物的数量，衡量系统处理能力的重要指标。

• RT: 响应时间，从客户端发送一个请求开始，到客户端接收到从服务器返回的响应结果结束所经历的时间，包括请求发送时间，网络传输时间和服务器处理时间三部分。

• VU: Virtual User， 模拟真实业务逻辑步骤的虚拟用户，虚拟用户模拟的操作步骤被记录在虚拟用户脚本中，通常使用并发实现。

• TPS波动: 系统性能依赖于特定的硬件、软件代码、应用服务、网络资源等，所以在性能场景执行期间，TPS可能会表现为稳定，或者波动，抑或遵循一定的上升或下降趋势。用TPS波动系数来记录这个指标值。

• CPU: CPU资源是指性能测试场景运行的这个时间段内，应用服务系统的CPU资源占用率。CPU资源是判断系统处理能力以及应用运行是否稳定的重要参数。

• Load: 系统正在干活的多少的度量，队列长度。系统平均负载，被定义为在特定时间间隔（1m，5m，15m）内运行队列中的平均进程数。

• I/O: I/O可分为磁盘IO和网卡IO。

• JVM: 即java虚拟机，它拥有自己的处理器、堆栈、寄存器等，还有自己相应的指令系统。Java应用运行在JVM上面。

• GC: GC是一种自动内存管理程序，它主要的职责是分配内存、保证被引用的对象始终在内存中、把不被应用的对象从内存中释放。FGC会引起JVM挂起。

• 网速: 网络中的数据传输速率，一般以Byte/s为单位。通过ping延时来反映网速。

• 流量: 性能测试中，一般指单位时间内流经网卡的总流量。分为inbound和outbound，一般以KB为单位。

• VU（并发压测用户数） = TPS（每秒执行事务数） × RT（响应时间）

• 在寻找合适的并发用户数上，建议使用PTS(淘宝性能自动化：https://pts.aliyun.com/lite/index.htm?spm=0.0.0.0.8t95Nt)的“梯度模式”，逐渐增加并发用户数，这个时候压力也会越来越大，当TPS的增长率小于响应时间的增长率时，这就是性能的拐点，也就是最合理的并发用户数；当TPS不再增长或者下降时，这个时候的压力就是最大的压力，所使用的并发用户数就是最大的并发用户数。如果此时的TPS不满足你的要求，那么就需要寻找瓶颈来优化。
  
  a点：性能期望值
  b点：高于期望，系统安全
  c点：高于期望，拐点
  d点：超过负载，系统崩溃