1. 概述

• 其主要活動(dòng)：可靠性目標(biāo)的確定、運(yùn)行剖面的開發(fā)、測(cè)試用例的設(shè)計(jì)、測(cè)試實(shí)施、測(cè)試結(jié)果的分析

2. 定義軟件運(yùn)行剖面

【擴(kuò)展】

• 馬爾可夫鏈：
  • 是一種隨機(jī)過程，它描述了系統(tǒng)在不同狀態(tài)之間的轉(zhuǎn)移概率
  • 系統(tǒng)的未來狀態(tài)僅取決于當(dāng)前狀態(tài)，而與過去的狀態(tài)無關(guān)
• 弧：在軟件運(yùn)行剖面中，用來表示軟件系統(tǒng)在不同狀態(tài)之間轉(zhuǎn)換的一種抽象

2.1 軟件的使用行為建模

• 建模過程：
  • 用馬爾可夫鏈將輸入域編碼為一個(gè)代表用戶觀點(diǎn)的軟件使用的狀態(tài)集
  • 用弧連接兩個(gè)狀態(tài)，它表示由各種激勵(lì)導(dǎo)致的狀態(tài)轉(zhuǎn)換
  • 將轉(zhuǎn)換概率分配給每個(gè)弧

2.2 輸入域分層

• 兩種類型的分層形式：
  • 用戶級(jí)分層：依賴于誰能激勵(lì)系統(tǒng)
  • 用法級(jí)分層：依賴于在測(cè)試狀態(tài)下，能做什么

2.3 弧上的概率分配

• 分配考慮因素：

  • 從現(xiàn)有系統(tǒng)收集到的數(shù)據(jù)
  • 與用戶的交談或?qū)τ脩暨M(jìn)行觀察獲得的信息
  • 原型使用與測(cè)試分析的結(jié)果。
  • 相關(guān)領(lǐng)域?qū)＜业囊庖姟?/li>

• 分配方法

  • 最佳方法：使用實(shí)際的用戶數(shù)據(jù)

    如來自系統(tǒng)原型、前一版本的使用數(shù)據(jù)；

  • 其次：是由該軟件應(yīng)用領(lǐng)域的用戶和專家提供的預(yù)期使用數(shù)據(jù)

  • 最差情況（無數(shù)據(jù)情況）：將每個(gè)狀態(tài)現(xiàn)有的弧分配相同的概率

2.4 其他注意點(diǎn)

1. 運(yùn)行剖面的開發(fā)與定義必須充分分析和考慮軟件的實(shí)際運(yùn)行情況
   • 軟件可靠性行為是相對(duì)于軟件實(shí)際的運(yùn)行剖面而言的
   • 同一軟件在不同運(yùn)行剖面下其可靠性表現(xiàn)可能大不相同
2. 剖面上很小比例的操作可能占很大的故障比例

飛機(jī)的飛行控制軟件，在正常飛行、起飛、降落、地面運(yùn)動(dòng)和地面等待這5個(gè)狀態(tài)中，盡管起飛和降落在運(yùn)行剖面上只占有很小的百分比，但是它們卻占有很大的故障比例。

3. 一個(gè)產(chǎn)品有可能需要開發(fā)多個(gè)運(yùn)行剖面
   • 邊界、躍遷情況、關(guān)鍵功能通常單獨(dú)定義運(yùn)行剖面

3. 可靠性測(cè)試用例設(shè)計(jì)

• 測(cè)試用例的選擇方法：

  • 在運(yùn)行剖面中的每個(gè)元素都定量地賦予一個(gè)發(fā)生概率值和關(guān)鍵因子
  • 根據(jù)這些因素分配測(cè)試資源，挑選和生成測(cè)試用例

• 測(cè)試用例考慮因素：

  • 既要有一般情況，也應(yīng)有極限情況、最大和最小的邊界值情況
  • 易于發(fā)現(xiàn)缺陷的測(cè)試用例和數(shù)據(jù)

• 測(cè)試用例的組成部分

  • 測(cè)試用例標(biāo)識(shí)
  • 被測(cè)對(duì)象
  • 測(cè)試環(huán)境及條件
  • 測(cè)試輸入
  • 操作步驟
  • 預(yù)期輸出
  • 判斷輸出結(jié)果是否符合標(biāo)準(zhǔn)
  • 測(cè)試對(duì)象的特殊需求

• 可靠性測(cè)試用例考慮的特殊情況

4. 可靠性測(cè)試的實(shí)施

4.1 測(cè)試前檢查

• 檢查軟件需求與設(shè)計(jì)文檔是否一致
• 檢查文檔的準(zhǔn)確性、完整性以及與程序的一致性
• 檢查所交付程序和數(shù)據(jù)以及相應(yīng)的軟件支持環(huán)境是否符合要求

4.2 注意點(diǎn)

• 要補(bǔ)充的非統(tǒng)計(jì)性測(cè)試，需要在可靠性測(cè)試之前
• 開發(fā)方交付的任何軟件文檔中與可靠性質(zhì)量特性有關(guān)的部分、程序以及數(shù)據(jù)都應(yīng)當(dāng)按照需求說明和質(zhì)量需求進(jìn)行測(cè)試
• 在項(xiàng)目合同、需求說明書和用戶文檔中規(guī)定的所有配置情況下，程序和數(shù)據(jù)都必須進(jìn)行測(cè)試。
• 獲得更多的可靠性數(shù)據(jù)，可使用多臺(tái)計(jì)算機(jī)同時(shí)運(yùn)行軟件，以增加累計(jì)運(yùn)行時(shí)間

4.2 可靠性測(cè)試的難點(diǎn)

• 其難點(diǎn)是：判斷測(cè)試用例的運(yùn)行是否成功
• 原因如下：

1）失效判斷的主觀性

一般應(yīng)用系統(tǒng)中，失效的定義較主觀些，它不僅依賴于程序是否符合規(guī)格說明的要求，也取決于指定的性能是否能夠達(dá)到用戶的期望。

2）計(jì)算的錯(cuò)誤結(jié)果不易被發(fā)現(xiàn)

如：在一些科學(xué)計(jì)算中，計(jì)算結(jié)果只能由計(jì)算機(jī)給出，在這種情況下，如果軟件只是輸出了錯(cuò)誤的結(jié)果而不是整個(gè)系統(tǒng)發(fā)生失效，錯(cuò)誤就不可能被發(fā)現(xiàn)。

• 解決方案一：將測(cè)試分成兩個(gè)階段進(jìn)行
  • 第一階段運(yùn)行較少量的測(cè)試用例，并對(duì)照規(guī)范進(jìn)行仔細(xì)檢查
  • 第二階段再運(yùn)行大量測(cè)試用例，僅找出失效現(xiàn)象
• 解決方案二：把輸出記錄到文件中，采用搜索或過濾方法進(jìn)行處理
  • 條件：軟件有足夠的可測(cè)試性
  • 優(yōu)點(diǎn)：不會(huì)遺漏錯(cuò)誤

4.3 用時(shí)間定義的可靠性數(shù)據(jù)

可分為以下四類：

• 失效時(shí)間數(shù)據(jù)：記錄發(fā)生一次失效所累積經(jīng)歷的時(shí)間
• 失效間隔時(shí)間數(shù)據(jù)：記錄本次失效與上一次失效間的間隔時(shí)間
• 分組時(shí)間內(nèi)的失效數(shù)：記錄某個(gè)時(shí)間區(qū)內(nèi)發(fā)生了多少次失效。
• 分組時(shí)間的累積失效數(shù)：記錄到某個(gè)區(qū)間的累積失效數(shù)。

4.4 測(cè)試記錄包含的信息

• 測(cè)試時(shí)間
• 含有測(cè)試用例的測(cè)試說明或標(biāo)識(shí)
• 所有與測(cè)試有關(guān)的測(cè)試結(jié)果，包括失效數(shù)據(jù)
• 測(cè)試人員。

4.5 測(cè)試報(bào)告

測(cè)試活動(dòng)結(jié)束后要編寫《軟件可靠性測(cè)試報(bào)告》,對(duì)測(cè)試用例及測(cè)試結(jié)果在測(cè)試報(bào)告中加以總結(jié)歸納、剪裁。其內(nèi)容如下：

• 軟件產(chǎn)品標(biāo)識(shí)
• 測(cè)試環(huán)境配置
• 測(cè)試依據(jù)
• 測(cè)試結(jié)果
• 測(cè)試問題
• 測(cè)試時(shí)間

---