信息技术应用创新项目详细测试过程、系统自查表示例、测试大纲.docx

附录A（资料性）信息技术应用创新项目详细测试过程A.1测评准备活动测评准备活动的目标是顺利启动测评项目，收集信息技术应用创新系统的资料，并进行分析，为方案编制打下基础。测评准备活动包括工作启动，信息搜集和分析主要任务。测评委托单位应根据自身情况选择合适的测评机构进行测评，测评机构收到信息技术应用创新测试委托服务申请书后，组建信息技术应用创新测评项目组，确立测试人员。被测单位根据系统实际情况，填写系统自查表，自查表包含信息技术应用创新产品列表、配置列表、组件间接口描述（例如应用服务器和数据库之间连接池大小及缓存大小）、共存应用清单（杀毒软件、流版签软件等），详见附录B。测评机构收到填写完成的自查表后，需对调查结果进行分析，了解信息技术应用创新系统的实际情况。A.2方案编制活动方案编制活动的目标是整理测评准备活动中获取的信息技术应用创新产品情况，编制项目方案，为现场测评活动提供最基本的文档和指导方案。方案编制活动包含测评对象确定、测试方法确定、测评方案编制及确认。a）测评对象的确定根据自查表中信息技术应用创新产品列表、配置列表等信息确认测评对象，详细情况如下：1）识别并描述该信息技术应用创新产品使用的硬件情况，如核心芯片、服务器；2）识别并描述该信息技术应用创新产品使用的核心软件情况，如操作系统、数据库、中间件；3）识别并描述该信息技术应用创新产品使用的辅助软件情况，如开发语言、开发工具;4）识别并描述该信息技术应用创新产品所要求的软件情况，如杀毒软件、浏览器、签名工具、办公软件；5）识别并描述信息技术应用创新产品主要业务功能、性能要求、安全要求。b）测评方法和工具的确定根据上一步的测评对象确定应使用的测试方法及工具。c）方案编制测评方案是信息技术应用创新测评工作实施的基础，指导信息技术应用创新工作的现场实施活动，测评方案应包括但不局限于以下内容：项目描述，测评对象，测评方法，测评工具、测评指标等。A.3现场测评活动现场测评活动通过与测评委托单位进行沟通和协调，为现场测评的顺利开展打下良好基础，依据测评方案实施现场测评工作，将测评方案和测评方法等内容具体落实到现场测评活动中。现场测评工作应取得报告编制活动所需的、足够的证据和资料。现场测评活动包含现场测评准备、现场测评以及整改复测结果记录、测评结果确认等主要任务。a）现场测评准备1）测评机构对测评过程中的风险进行告知，被测单位了解测评过程中存在的安全风险,做好相应的应急和备份工作；2）测评委托单位协助测评机构获得测评对象的现场测评授权；3）测评机构介绍现场测评工作安排，相关方对测评计划和测评方案中的测评内容和方法等进行沟通；4）测评相关方确认现场测评需要的各种资源，包括测评配合人员和需要提供的测评环境等。b）现场测评及结果记录现场测评中测评人员按照测评方案实施测评，并将测评过程中获取的证据源进行详细、准确记录，主要包含以下内容：D测评人员与测评配合人员确认测评对象中的关键数据已经进行了备份。2）测评人员根据软件测试相关文档例如测试需求规格说明、测试方案等进行测试用例设计，测试用例一般包括测试用例名称、测试用例标识、测试用例综述、测试用例与测试依据的追踪关系、测试用例的前提和约束、测试用例的初始化要求、测试用例的测试步骤（至少包括每个步骤的输入与操作、期望结果与评估准则）、测试用例的终止条件、测试用例的通过准则等。3）搭建测试环境，测试环境包括测试所需的硬件和软件环境以及测试数据、测试工具等。记录测试环境的状态和测试数据，形成测试环境记录和测试数据。4）测评人员执行测试用例，对测评进行详细、准确的记录，并保证测试结果的公平、公正。5）测评结束后，测评人员与测评配合人员及时确认测评工作是否对测评对象造成不良影响，测评对象及系统是否工作正常。c）整改复测如果被测信息技术应用创新系统经测评后发现不符合要求，可进行一次整改并进行复测。应对复测结果进行记录并标注。d）测评结果确认D测评结束后需将测评过程中得到的证据源记录、测试结果进行确认，针对本次测评发现的问题进行现场沟通。A.4报告编制活动在现场测评工作结束后，测评机构应对现场测评获得的测评结果（或称测评证据）进行汇总分析，形成测评结论，并编制测评报告。报告编制活动包含单项指标判定、整体测评结果汇总、报告编制主要任务。a）单项结果判定针对单个测评项，结合具体测评对象，客观、准确地分析测评证据，形成初步单项测评结果，包含以下内容：1）通过：与用例中描述的预期结果一致，且在多次测试执行过程中，每次都与预期结果一致：2）不通过该用例测试与预期结果不一致，或在多次测试过程中，至少有一次与预期结果不一致；3）N/A：不适用。受环境或其它客观条件所限用例在软件或系统中无法验证。b）整体测评结果汇总整体测评结果汇总指对现场测评的情况进行汇总并分析，包含以下内容：1）汇总各测评项的测试结果，得出通过与不通过项的数量；2）分析不通过项的严重程度、产生原因，以及改进措施；3）形成测评记录，问题列表等书面文档。c）报告编制根据报告编制活动各分析过程形成最终的测评报告，包含以下内容：D测评报告应采用统一的报告模板；2）测评报告应包含项目概述、测试对象、测试过程与方法、测试结果、测试结论与建议等内容；3）测试报告编写完成后，测评机构应对测试报告进行评审，并由相关负责人进行签字确认。附录B（资料性）系统自查表示例表B.1信息技术应用创新适配测评厂商单位基本情况单位名称系统名称简称系统类型系统简介1、简要描述被测信息系统承载的业务功能以及使用信息技术应用创新产品情况。建议不低于IOO字。厂商类型口基础设施厂商支撑软件厂商应用软件厂商口其他单位地址邮政编码负责人姓名办公电话部门职位手机号邮件地址联系人办公电话部门职位手机号邮件地址上级主管部门表B.2信息技术应用创新设备情况序号类型名称版本厂商配置详情1.服务渊CPU：操作系统：其他按需提供2.桌面计算机3.嵌入式计算机4.移动终端表B.3信息技术应用创新核心软件产品情况序号类型名称版本厂商其他说明1.操作系统2.数据库3.应用服务器中间件4.消息中间件表B.4信息技术应用创新共存应用软件清单序号类型名称版本厂商其他说明1.杀毒软件2.浏览器3.办公软件4.数字签名软件表B.5系统开发情况序号类型名称版本厂商其他说明1.应用开发语言2.应用开发工具表B.6系统基本要求情况序号系统名称功能列表所属模块1、1、2、2、示例电子公文系统3、4、3、4、序号系统名称技术指标要求（可包括性能效率、可靠性、信息安全性等）基准指标晨2、示例电子公文系统3、4、序号系统名称适配要求基准指标1、2、示例电子公文系统3、4、附录C(资料性)测试大纲C.1测试目的对信息技术应用创新软件进行测试，验证在生产或使用环境下软件适配、质量相关要求是否得以实现。C.2测试依据a) GB/T25000.23-2019系统与软件工程系统与软件质量要求和评价(SQuaRE)第23部分：系统与软件产品质量测量b) GB/T25000.51-2016系统与软件工程系统与软件质量要求和评价(SQuaRE)第51部分：就绪可用软件产品(RUSP)的质量要求和测试细则c)需求规格说明C.3测试对象C.3.1测试内容根据软件产品架构及特点，选择适配测试内容(见表C.1)。表B.1适配测试适配测试操作系统数据库中间件流版签软件安全软件浏览器软件外设指令集云基础设施网络环境质量测试功能性性能效率兼容性易用性可靠性信息安全性维护性可移植性C.3.2测试环境C.3.2.1硬件配置包括CPU、内存、硬盘等。C.3.2.2软件配置包括操作系统、数据库、中间件及所有依赖软件栈。C.4测试要求C.4.1适配测试信息技术应用创新软件的适配测试指标见表C.2。表B.2适配指标适配项测试项测试要求操作系统软件在部署、启动、运行、关闭、卸载阶段与操作系统的适配按照6.2.1的要求数据库软件在部署、启动、运行、关闭、卸载阶段与数据库的适配按照6.2.2的要求中间件软件在部署、启动、运行、关闭、卸载阶段与中间件的适配按照6.2.3的要求流版签软件软件在部署、启动、运行、关闭、卸载阶段与流版签软件的适配按照6.2.4的要求安全软件软件在部署、启动、运行、关闭、卸载阶段与安全软件的适配按照6.2.5的要求浏览器软件软件在浏览器环境下正确部署、启动、运行、关闭和卸载按照6.2.6的要求外设软件在部署、启动、运行、关闭、卸载阶段与浏览器的适配按照6.2.7的要求指令集软件与其支持所需特定处理器指令集的适配按照6.2.8的要求云基础设施软件在部署、启动、运行、关闭、卸载时与云基础设施的适配按照6.2.9的要求网络环境软件在不同网络环境中的运行情况，以及所具备的信息安全防护能力按照6.2.10的要求C.4.2质量测试信息技术应用创新软件的质量测试指标见表C.3。表B.3质量指标质量特性测试项测试要求测试方法功能性完备性按照6.3.1的要求通过逐一对比需求文档中应实现的功能和系统实际提供的功能，以确定系统对指定功能的实现程度正确性依据需求文档进行功能测试，分析测试结果，确定不能正确实现的功能数量适合性依据需求文档，针对为实现特定使用目标所需的功能进行测试，分析测试结果，确定缺少或不正确的功能数量依从性查看需求文档和产品说明中是否声明该产品或系统遵循了与功能性相关的标准、约定或法规以及类似规定，并验证软件的功能性是否遵循该标准性能效率时间特性按照6.3.2的要求根据需求文档，采用性能测试工具测试产品或系统执行指定操作时，其响应时间、周转时间及吞吐量是否满足要求资源利用根据需求文档，采用性能测试工具对服务器、数据库、中间件等资源进行监控。容量根据需求文档，采用性能测试工具进行测试系统最大限量，包括最大用户数、事务处理容量等。(1)最大用户数：通过对一个逐渐增大的并发请求进行测试，并可以获得请求响应时间，分析请求响应时间的突变点，从而获得最大用户数量(2)事务处理容量：在给定观察时间内，施加足够的工作负载，测量完成事务的数量，计算得到单位时间内处理事务的数量依从性查看需求文档和产品说明中是否声明该产品或系统遵循了与性能效率相关的标准、约定或法规以及类似规定，并验证软件的性能效率是否遵循该标准兼容性共存性按照6.3.3的要求选择与软件产品需要共存的软件，验证与被测软件的共存情况(例如软件安装情况、功能执行情况、系统资源占用等)，一旦出现无法共存的情况则终止测试，例如，关键功能点出现致命错误互操作性接口调用：依据需求文档、设计文档等，确定外部接口。依据接口符合性的判定准则检验接口实现的准确性，并记录接口调用的情况、接口返回的结果值和接口返回值读取的情况。数据交换协议：依据需求文档、设计文档等，确定需交换的数据协议。依据数据交换协议正常读取和解析的判定准则检查被测软件支持数据交换协议的情况，并记录数据内容的读取、解析和传输情况（3）数据交换格式：依据相关文档的要求确定需交换的数据格式。针对数据格式，测试其是否能被正常读写。检验数据格式中的每一个项应当和要求相符合，例如，数据的类型、长度、边界等。依从性查看需求文档和产品说明中是否声明该软件遵循了与兼容性相关的标准、约定或法规以及类似规定，并验证软件的兼容性是否遵循该标准易用性可辨识性按照6.3.4的要求查看需求文档、产品说明、操作手册中是否提供演示教程、文档或网站的主页信息，以帮助用户进行认知易学性检查软件或系统核心功能模块是否有对应的帮助文档/操作手册易操作性（1）监视能力：通过后台运维平台，查看在运营过程中，软件的功能状态是否可被监视，并与规定的期望受益于监视能力的功能数进行比较（2）撤销操作能力：查看需求文档、操作手册等，确定用户能够从重新确认或撤销操作中获益的任务。执行要求具有提供撤销操作或重新确认的任务，确定软件是否提供撤销操作或重新确认的任务。（3）输入设备支持性：根据所需求文档、操作手册要求的输入方法启动任务，测试是否可通过适当的输入方法（例如键盘、鼠标或语音）启动任务用户差错防御性（1）数据长度、类型、输入说明提示：输入数据时，软件是否有数据长度、类型、输入说明提示：（2）输入时语法错误提示：输入错误的语法，软件是否能够进行提示；（3）删除确认提示：执行删除操作时，是否对删除操作进行提示；（4）重要操作确认提示：执行误操作，确定在执行无法撤销并且会产生严重后果的操作之前应用是否进行确认：（5）恢复用户差错：按操作手册执行相应功能，或设计并机入错误，记录软件发生的差错，并对发生的差错进行恢复和评价。界面舒适性对用户界面进行评审，用户界面和整体设计是否存在偏差易访问性（1）查看软件是否支持多语种信息；（2）查看是否支持为特殊群体提供辅助操作功能。依从性查看需求文档和产品说明中是否声明该产品或系统遵循了与易用性相关的标准、约定或法规以及类似规定，并验证软件的易用性是否遵循该标准可靠性成熟性按照6.3.5的要求通过监控工具，监控运行时CPU和内存使用率，确认系统运行是否满足需求可用性通过查询系统运行日志或者相关文档，检查系统是否满足规定的不间断运行要求容错性（1）依据软件需求，通过输入不符合要求的信息，测试软件对无效输入的容错性：（2）检查软件是否在规定时间内未造成系统宕机：（3）负载均衡：依据需求文档、设计文档、操作手册等，查看是否描述系统具有应用负载均衡功能应用是否实现了负载均衡的功能。（4）验证软件是否拥有数据备份的策略和机制易恢复性通过需求文档、设计文档、操作手册等，查看是否描述系统具有数据备份策略、恢复策略，以及数据恢第工具依从性查看需求文档和产品说明中是否声明该产品或系统遵循了与可靠性相关的标准、约定或法规以及类似规定，并验证软件的可靠性是否遵循该标准信息安全性保密性按照6.3.6的要求(1)查看是否设计了权限控制模块，有专门系统管理员进行权限管理。(2)以某一用户身份登录系统，依据安全策略对客体进行访问，测试是否成功；该用户不依据安全策略对客体进行访问，测试是否成功。(3)以不同权限用户登录系统，判断用户是否可以访问被授权的模块。(4)抓取传输过程中的数据，查看通信过程中的整个报文或会话过程是否进行了加密。(5)查看是否选择可靠的算法，以及经过充分测试的算法，例如商用密码，不采用自制的加密算法。完整性输入数据完整性：查看是否采用下拉列表、可选框、必选框等选择；数据保存完整性：采用关系型数据库保存数据数据传输完整性：传输过程中数据防篡改措施，如摘要、校验码等(4)关系型数据库的数据约束：数据库是否有唯键、外键、可选值约束抗抵赖性(1)查看是否有日志记录功能，记录是否可追溯事件发生的口期、时间、操作人员、事件类型、事件相关描述信息、事件的结果。(2)对日志进行修改或删除，查看软件是否能阻止该操作。(3)查看用户的操作是否具有数字签名。可核查性(1)以任意用户身份登录系统，进行一些操作(如用户登录/退出、改变访问控制策略、增加/删除用户、改变用户权限和增加/删除/查询数据等)，用审计人员的身份登录系统，查看系统是否对上述用户的重要操作或事件进行了审计(2)以审计员身份登录系统，查看审计记录内容是否包括事件发生的日期、时间、发起者信息、事件类型、事件相关描述信息、事件的结果等内容(3)核查审计记录存储周期是否满足不少于六个月(4)对于日志信息从多台服务器获取的，查看是否启用了时钟同步进程真实性(1)查看是否提供专用的登录控制模块对登录用户进行身份标识和鉴别；(2)如果应用系统是以用户名来保证用户身份标识唯一的，则以已存在的用户名重新注册，查看是否成功，从而验证用户身份标识唯一保证措施是否有效。(3)利用口令暴力破解等工具对应用系统进行测试，检查应用系统是否存在弱口令和空口令用户(4)查看是否对同一用户采用两种或两种以上组合的鉴别技术(例如动态口令、数字证书和生物技术)实现用户身份鉴别(5)核查管理员用户与账户之间是否一一对应，是否存在共享账户(6)登录失败处理：以错误的用户名或密码登录系统，查看系统的反应；以超过系统规定的非法登录次数登录系统，查看系统的反应；当登录系统连接超时，查看系统的反应(7)采用安全检查工具，检查软件是否存在安全漏洞或隐患依从性查看需求文档和产品说明中是否声明该产品或系统遵循了与信息安全性相关的标准、约定或法规以及类似规定，并验证软件的信息安全性是否遵循该标准维护性模块化按照6.3.7的要求（1）查看软件相关设计文档，测试软件是否采用模块化设计开发（2）采用代码复杂度分析工具，计算圈复杂度，验证是否满足要求可重用性查看软件相关设计文档，测试软件资产是否具有高重用性易分析性（1）查看是否有日志记录功能，例如日志查询功能记录、log文件，日志记录是否记录了事件发生的日期、时间、操作人员、事件类型、事件相关描述信息、事件的结果（2）查看开发工具是否为常用开发工具易修改性（1）系统或软件是否支持自定义模块；执行模块自定义功能，查看是否生效（2）软件版本更新是否涉及数据变更，若涉及如何对数据进行更新，手动还是自动（3）查看系统或软件是否支持用户权限配置：执行用户权限配置功能，查看是否生效（4）维护后的版本及修订内容是否能够在用户文档集中查阅到易测试性（1）按照用户文档集中的描述，是否需要附加的测试措施进行测试（2）对修改后的软件执行测试时，是否容易地选择检测点（修改之处）进行测试依从性查看需求文档和产品说明中是否声明该产品或系统遵循了与维护性相关的标准、约定或法规以及类似规定，并验证软件的维护性是否遵循该标准可移植性适应性按照6.3.8的要求（1）查看并记录芯片、操作系统、数据库、中间件、流版签软件的配置，验证是否符合信息技术应用创新要求（2）查看在部署、启动、运行过程中是否存在依赖组件的冲突(3)查看数据库迁移后与原环境的一致性：数据字段长度限制、数据类型、表结构、索引、约束、函数、存储过程、视图、触发器、用户权限易安装性(1)按照安装文档中的步骤，执行安装，验证是否可以成功安装(2)查看是否提供软件移去或卸载的步骤，按照相应步骤进行卸载，是否卸载成功(3)验证软件卸载是否完全，不能完全卸载时是否具有提示信息易替换性(1)依据用户文档中给出的软件替换方式，例如覆盖、升级、重新安装等，验证是否能够成功地重新安装或升级软件。(2)软件升级后，验证旧版本下的数据在新版本中能否正常使用。依从性查看需求文档和产品说明中是否声明该产品或系统遵循了与可移植性相关的标准、约定或法规以及类似规定，并验证软件的可移植性是否遵循该标准