根据GB/T 25000.1-2010《软件工程 软件产品质量要求与评价（SQuaRE）SQuaRE指南》、GB/T 25000.51-2010《软件工程 软件产品质量要求与评价（SquaRE）商业现货（COTS）软件产品的质量要求和测试细则》规定及系统用户需求，对信息系统进行相应的第三方测试，测试内容可能涉及功能性、可靠性、易用性、效率、兼容性及用户文档等方面。
从实施方法角度来讲，测试分为功能性测试方法、可靠性测试方法、易用性测试方法、效率测试方法、兼容性测试方法、用户文档测试方法等几方面。
功能性测试方法
测试的原则只是对测试过程的指导，要想达到测试的目的，还需要一系列科学的测试方法。测试是一个试图发现程序与用户需求存在不一致的过程，它通常是一项黑盒测试，需要对用户需求，以及规格说明进行分析以获取测试用例集。我们在测试过程中主要采取以下测试方法：场景法、等价类划分方法、边界值分析方法、错误推测法。我们推荐的步骤是先使用黑盒测试方法来设计测试用例，然后视情况需要，采用白盒测试的方法对设计用例进行补充。根实际情况，采用自动回归技术，经过几轮的回归向用户提供高品质的产品。
采用黑盒测试策略，分别对功能点和业务流程进行测试，应覆盖标准要求的全部功能点和主要业务流程。
主要测试用例设计方法包括：
1）因果图法：采用因果图法，以需求设计说明书为依据设计业务测试流程图和测试案例。
2）等价类划分法：对业务流程进行等价类划分，测试用例应是业务主流程和流程主分支的最小集，所有的判别分支都能被覆盖，在流程覆盖的同时，完成等价功能的测试。
3）边界值分析法在功能测试中，针对功能说明中的输入输出域，进行边界值和极限值的设计和测试。
4）错误推测法：采用逆向思维方式，结合以往测试经验和直觉设计软件在功能和流程上可能存在的各种错误，进行容错性测试。
功能测试策略
主要从以下四个方面来考虑：
1）安装
如果软件安装由用户来进行，则按照安装手册中的信息应能安装成功。产品说明书中，给出的每个所需的配置在安装程序时都应具备。安装之后，程序是否运行应是可以鉴别的。例如，使用测试用例或通过相应的信息自检。
2）功能表现
在用户文档中提到的所有的功能都应能执行。程序应按照用户文档中的给定形式，在规定的边界值范围内使用相应的工具、资源和数据执行其功能。
3）正确性
程序和数据应与产品说明书及用户文档的全部内容相对应。为完成工作任务程序功能应以正确的方式执行。特别是，程序和数据应符合产品说明书涉及的任何需求文档的所有规定。
4）一致性
程序和数据其本身内容不能自相矛盾，并且同产品说明书和用户文档也不能相互矛盾。每一术语应处处保持相同的意思。由用户进行的程序操作控制和程序的运行表现（例如：信息、屏幕录入格式和打印报表）应有相同的结构。
5）用户界面测试
对用户界面的布局、界面文字、操作步骤、操作方式、快捷方式进行测试和验证，必要时候通过用户调研或用户测试，验证用户界面是否满足用户要求。
功能覆盖率分析
1）对每个模块的功能覆盖率进行分析，首先测试用例对所有的业务流程、数据流以及核心功能点的覆盖率达到100％
2）其次，必须满足用户测试的需求。
应用安全
功能测试中涉及应用安全部分内容，包括用户权限、用户密码封闭性、留痕等内容。
用户权限限制：考察对不同的用户权限限制情况；
用户和密码封闭性：密码非明文显示，对于相应用户及密码进行次数限制；
留痕功能：系统是否有操作日志，操作日志记录的操作情况的全面性和准确性，是否包括主要要素如操作员、操作日期、使用模块等，是否具有日志查询功能；系统是否提供备份及恢复功能，备份手段如何，如是否对备份数据加密、压缩；
可靠性测试方法
针对本项目的可靠性测试主要是验证系统在规定的工作时间内，是否可以稳定运行，包括对系统的高可用策略的验证，具体测试方法包括：
1）主机系统HA高可用策略测试：模拟主机故障，包括主机的网卡出现故障、主机断电、主机通讯中断等；
2）操作系统HA高可用策略测试：模拟操作系统故障，包括操作系统文件损坏，操作系统病毒破坏等；
3）数据库系统HA高可用策略测试：模拟数据库系统故障，包括数据库服务通讯中断、数据文件访问错误等；
4）主机系统高可用Cluster策略测试：模拟当Cluster集群中的部分主机出现故障时，整个应用系统是否依然可以正常运行，并可持续稳定可靠地提供相应服务等级的业务功能。
易用性测试方法
根据需求规格说明，采用验证软件执行的各种操作/输入/问题/消息/结果的易理解性、检查文档和帮助信息、模拟演示界面的互操作性、验证安装性等黑盒测试技术，通过验证、检查和设计测试用例的方法，从易学习性、易操作性、易安装性、用户界面友好性等方面对软件产品的易用性进行质量测试，并将易用性测试结果与用户需求中的易用性要求比较，评价软件产品的易用性是否符合用户需求和文档要求。
易学习性：相对一般操作人员来说，学习使用的难度如何，对操作人员有何要求；
易操作性：操作的难易程度，对主要或常用功能应该提供快捷方式；
易安装性：安装的难易程度，符合流行安装模式；
用户界面的友好性：界面的简捷性如何，是否为系统管理员提供简洁、直观、友好的图形化的管理界面，方便操作；
各模块界面风格一致性：界面风格和操作是否一致。
效率测试方法
根据需求规格说明，采用性能测试、负荷测试、容量测试、强度测试等黑盒测试技术，通过使用通用或专用测试工具及设备和设计测试用例的方法，从响应时间、吞吐量、资源利用率等方面对软件产品的效率进行质量测试，并将效率测试结果与用户需求中的效率要求比较，评价软件产品效率的是否符合用户需求和文档要求。
测试实施可从以下几个方面考虑：
1）并发性能
并发测试的过程，是一个负载测试和压力测试的过程。即逐渐增加负载，直到系统的瓶颈或者不能接收的性能点，通过综合分析交易执行指标和资源监控指标来确定系统并发性能的过程。
并发性能测试的测试内容如下：
a）负载压力测试
模拟不同数量并发用户执行关键业务，测试系统能够承受的最大并发用户数。主要监控指标如下：
每分钟事务处理数（Transaction Rate）：不同负载下每分钟成功完成的事务处理数；
响应时间（Response Time）：服务器对每个应用请求的处理时间，单位：秒，该项指标反映了系统事务处理的性能，具体包括以下几项参数：
Min：最小的服务器响应时间
Mean：平均的服务器响应时间
Max：最大的服务器响应时间
StdDev：事务处理服务器响应的偏差，值越大，偏差越大
90％：90％事务处理的服务器响应时间
?虚拟并发用户数（Total Virtual Users）：测试工具模拟的用户并发数量；
b）系统资源监控
在进行负载操作压力测试的同时，用测试工具对数据库服务器、应用服务器、认证及授权服务器上的操作系统、数据库以及中间件等资源进行监控。监控系统资源指标，在测试中，根据测试需求以及测试环境的变化，选取有意义的数据进行分析。
2）大数据量
主要包括两方面内容：一是单独的数据量测试；二是与并发性能测试相结合的综合测试。
独立的数据量测试指针对某些系统存储、传输、统计、查询等业务进行的大数据量测试。
综合数据量测试指和压力性能测试、负载性能测试、疲劳性能测试相结合的综合测试。
测试数据的准备借助于测试数据管理与生成工具。
3）速度
主要测试系统关键操作的效率，例如票据打印机等设备工作速度、数据汇总统计的速度。
4）疲劳测试
通常是采用系统稳定运行情况下能够支持的最大并发用户数，持续执行一段时间业务，通过综合分析交易执行指标和资源监控指标来确定系统处理最大工作量强度性能的过程。一般情况下利用疲劳强度测试来模拟系统日常业务操作。
5）网络仿真
广域网仿真的作用是模拟广域网的吞吐量、时延、抖动、错包、丢包等性能特性，从而在实验室中就可以得到设备或者软件在实际的网络环境下的表现，并在发现性能问题时，对每个数据包进行分析，从而可以快速的找到问题所在。主要是利用网络仿真测试工具。
几个重要的测试指标：
a）吞吐量
b）容量(信道容量或带宽)
c）利用率
d）最优利用率
e）可提供负载
f）有效率
g）延迟
h）延迟变化量
i）响应时间
6）网络故障分析、性能优化
主要测试网络带宽、延迟、负载和TCP端口的变化是如何影响用户的响应时间。
7）网络应用性能监控
在系统试运行之后，我们需要及时准确地了解网络上正在发生什么事情；什么应用在运行，如何运行；多少PC正在访问LAN或WAN；哪些应用程序导致系统瓶颈或资源竞争。网络应用性能监控的目的就是解决上述问题。
兼容性测试方法
根据被测软件产品的特点，采用配置/安装测试、跨平台测试、数据升级测试等黑盒测试技术，通过设计测试用例，从易安装性、硬件兼容性、软件兼容性、数据兼容性、网络协议兼容性等方面对软件产品的兼容性质量特性进行测试，并将兼容性的测试结果与用户需求中的兼容性要求比较，评价软件产品兼容性是否符合用户需求和文档要求。
平台兼容性：考虑服务器和数据库系统的兼容性；
数据兼容性：在保证系统和数据安全的前提下，能够方便地与其他系统实现数据交换和共享，支持所需的数据文件格式；
硬件兼容性：兼容打印机、IO外设等；
软件兼容性：考察系统与其他应用软件的兼容性，如杀毒软件等。
用户文档测试方法
对被测软件的用户文档内容进行审查，重点验证检查其完备性、正确性、一致性、易理解性、易学性、可操作性。
审查的内容包括：
1)审查参测厂商提供的文档资料在编写内容、格式上是否符合软件工程的规范；
2)审核参测产品对相关规范的遵从情况；
3)抽查文档的准确性和完整性；
4)测试用例对需求的覆盖面、规范性及可操作性。
文档审查方法
1）规范检查：由中国软件评测中心根据国家标准、行业惯例、测试规范以及业主要求对文档的规范性进行检查；
2）专家评审：组织相关专家对文档进行检查，对文档的内容和组织结果进行评价；
3）测试验证：通过测试对文档进行验证，验证文档是否与软件一致。
待审核的文档可涉及但不局限于以下部分：
1) 可行性研究报告
2) 项目开发计划书
3) 软件需求说明书
4) 数据要求说明书
5) 概要设计说明书
6) 详细设计说明书
7) 数据库设计说明书
8) 用户手册
9) 操作手册
鲁公网安备 37021202001695号