CNS 15014-1-2006 Information technology - Software product evaluation - Part 1 General overview《信息技术－软件产品评估－第1部：概观》.pdf

《CNS 15014-1-2006 Information technology - Software product evaluation - Part 1 General overview《信息技术－软件产品评估－第1部：概观》.pdf》由会员分享，可在线阅读，更多相关《CNS 15014-1-2006 Information technology - Software product evaluation - Part 1 General overview《信息技术－软件产品评估－第1部：概观》.pdf（20页珍藏版）》请在麦多课文档分享上搜索。

1、1 印月956月 本標準非經本局同意得翻印 中華民國國家標準 CNS 總號 號 ICS 35.080 X3014-115014-1經濟部標準檢驗局印 公布日期 修訂公布日期 956月16日 月日 (共20頁)資訊技術軟體產品評估第 1 部 ： 概觀Information technology Software product evaluation Part 1: General overview 目錄 節次 頁次 0. 導論 . 2 1.適用範圍 2 2.符合性 2 3.引用標準 2 4. 用語釋義 2 5. 本系列標準與 ISO/IEC 9126 之概觀 . 6 5.1 本系列標準與 ISO

2、/IEC 9126 之結構 . 6 5.2 評估過程 6 5.3 評估支援 7 5.4 軟體品質特性與量度 . 8 6. 評估過程 9 7. 建立評估要求 . 9 7.1 建立評估目的 . 9 7.2 識別待評估產品的型式 11 7.3 規定品質模型 12 8. 規定評估 .13 8.1 選擇量度 .13 8.2 建立量度的評定層級 14 8.3 建立評鑑準則 15 9. 設計評估 .15 9.1 產生評估計畫 15 10. 執行評估 .15 10.1 採取措施 15 10.2 與準則比較 15 10.3 評鑑結果 15 11. 支援過程 .16 參考 .16 英中名詞對照表 18 2 CNS

3、 15014-1, X 3014-1 0.導論 隨著資訊技術的使用成長，重要電腦系統的數量亦隨著成長。此類系統所包含者，例如安全上重要的、生命上重要的、經濟上重要的、及生命財產安全 (safety)上重要的系統。因為軟體失誤 (fault)可能導致嚴重後果，在這些系統中之軟體品質是特別重要的。 整個軟體工程歷史中，軟體品質改善已經成為最重要目標。軟體產品品質評估對於符合品質要求 (requirement)之軟體獲取與發展是極其重要的。不同軟體品質特性的相關重要性取決於所屬系統之任務或目標；軟體產品需經過評估 (evaluate)以決定相關的品質特性是否符合系統要求。 軟體品質評估的基本部分是品

4、質模型 (quality model) 、評估方法、軟體測量(measurement)及支援工具。為了發展好軟體，宜規定品質要求，規劃、實作 (implement)及控制軟體品質保證過程，且應評估中間產品與最終產品。為了達到目標軟體品質評估，應該使用已確認之量度 (metric)量測軟體品質屬性。 在軟體工程出版物中 所使用的用語 “量度 ”有很多意思。在本標準中，定義為使用於測量之定量的尺度與方法。使用詞彙 “量測 ”即為測量結果。 1. 適用範圍 本標準簡介本系列標準的其他標準。本標準提供本系列標準的其他標準概觀，並且解釋本系列標準與 ISO/IEC 9126 中品質模型間的關係。本標準定

5、義本系列標準的其他標準中所使用的技術用語，包含軟體品質之規格與評估的一般要求，並且陳述一般的觀念。此外，本標準提供評估所有型式之軟體產品品質的框架，並且敘述軟體產品測量與評估方法的要求。 本系列標準適 合發展者 (developer)、獲取者 (acquirer)及獨立評估者 (evaluator)所使用，特別是負責軟體產品評估。管理者能夠使用從本系列標準之應用中所產生的評估結果，發展者 /維護者 (maintainer)能夠使用該評估結果，量測要求之遵循性與作必要的改善。分析者亦能夠使用評估結果，建立內部與外部量度之間的關係。過程改善人員能夠使用評估結果，決定如何經由專案產品品質資訊的研究與

6、檢查而能夠改善過程。 備考：本系列標準的很多部分指引不僅用於軟體，亦適用於其他複雜產品。 2. 符合性 若使用第 6 節中之過程與第 8.3 節中所要求的品質模型，則軟體規格與評估符合本標準。整體而言，本系列標準之整體符合性應意指符合所有適用本系列標準公布的部分。 3. 引用標準 CNS 12680 品質管理系統基本原理與詞彙 CNS 14837 資訊技術軟體生命週期過程 CNS 14948-1 軟體工程產品品質第部：品質模型 4. 用語釋義 本系列所有標準使用下列的定義。 4.1 獲取者 (acquirer) 3 CNS 15014-1, X 3014-1 向供應者 (supplier)獲取

7、 (acquire)或採購一項系統、軟體產品或軟體服務的組織。 CNS 14837 4.2 屬性 (attribute) 實體之可量測實體或抽象的性質。 備考：屬性可以為內部或外部的。 4.3 發展者 (developer) 於軟體生命週期過程期間，履行發展活動 (包含要求分析、設計、測試至驗收的組織。 CNS 14837 4.4 直接量測 (direct measure) 屬性的量測，不依賴任何其他屬性的測量。 4.5 評估模組 (evaluation module) 關於特定軟體品質特性或次特性的評估技術的套件。 備考： 這套包括評估方法與技術、待評估的輸入、被量測與收集的資料、及支援程序

8、與工具。 4.6 外部量測 (external measure) 產品的間接量測，衍生自系統行為的量測，而產品為系統的一部分。 備考 1. 系統包含任何相關的硬體、軟體 (客製軟體 (custom software)或現成軟體(off-the-shelf software)使用者。 2. 在測試期間所發現之失效數量為程式中失誤數量的外部測量，因其係在電腦系統執行程式的作業期間計算失效數目。 3. 能夠使用外部測量評估品質屬性，該品質屬性接近設計之最終目標。 4.7 外部品質 (external quality) 當在規定的條件下使用，一產品可符合陳述與隱含需要的程度。 4.8 失效 (fail

9、ure) 產品履行必要功能之能力的終止，或在事先已規定的範圍內無能力履行 必要功能。 4.9 失誤 (fault) 電腦程式中的不正確步驟、處理或資料定義。 備考：此定義採自 IEEE 610.12-1990。 4.10 隱含需要 (implied needs) 或許並未明述但在特定的條件其所使用的個體為實際的需要。 備考：隱含需要為真實需要，其中可能沒有將要求文件化。 4.11 指標 (indicator) 能夠使用於估計或預測其他測量的測量。 備考 1. 已預測之測量可以是相同或不同的軟體品質特性。 2. 可使用指標估計軟體品質屬性，與估計發展過程的屬性。其為屬性之不精確的間接測量。 4.

10、12 間接量測 (indirect measure) 4 CNS 15014-1, X 3014-1 屬性的量測，衍生自一或多個其他屬性的測量。 備考： 當計算環境屬性與軟體屬性將影響量測時，計算系統 屬性之外部測量(如使用者輸入的反應時間 )是軟體屬性的間接量測。 4.13 中間軟體產品 (intermediate software product) 軟體發展過程的產品，其作為另一個軟體發展過程階段的輸入。 備考：在某些情況中，中間產品亦可為最終產品。 4.14 內部量測 (internal measure) 產品本身的直接或間接量測。 備考： 程式碼的行數、複雜度 量測、全程所發現之失誤數

11、量及 Fog 索引 (Fog Index)是作為產品本身的所有內部量測。 4.15 內部品質 (internal quality) 產品屬性的總體，決定產品滿足所陳述與當在已規定條件下所使用之隱含需要的能力。 備考 1. 本系列標準中使用用語 “內部品質 ”，與 “外部品質 ”相對照，實質上與CNS 12680 中 “品質 ”，具有相同的意義。 2. 使用的用語 “屬性 ”與第 4.21 節中用語 “特性 ”具有相同意義，而 ISO 9126中使用更具特定意義的用語 “特性 ”。 4.16 維護者 (maintainer) 履行維護活動的組織。 CNS 14837 4.17 量測 (動詞 )(

12、measure(verb) 作一個測量。 4.18 測量 (名詞 )(measure(noun) 藉由作測量，指定給實體屬性的數量或種類。 4.19 測量 (measurement) 量度的使用，指定從尺度至實體屬性的數值 (可以是數量或種類 )。 備考： 當使用種類時，量測能夠是定性的。例如： 軟體產品的一些重要屬性，如原始程式之語言 (ADA、 C、 COBOL 等 )為定性的種類。 4.20 量度 (metric) 已定義的測量方法與測量尺度。 備考 1. 量度能夠是內部或外部的，並且為直接或間接的。 2. 量度包含分類定性資料的方法。 4.21 品質 (quality) 個體之特性的總

13、體，傳達個體滿足其所陳述需要與隱含需要之能力。 備考 1. 在合約的環境中，或受節制的環境 中，諸如核子安全領域，需要是被明確規定的；然而在其他環境中，隱含需要宜識別與定義之 (CNS 12680，備考 1)。 2. 本系列標準中的相關個體為軟體產品。 5 CNS 15014-1, X 3014-1 CNS 12680 4.22 品質評估 (quality evaluation) 一個範圍的系統化檢查，此範圍代表一個個體有能力滿足已規定之要求。 備考： 當因合約而為特定的使用者發展產品時，可正規地規定要求當為非特定的使用者發展產品時，例如消費者軟體 (consumer software)，由發

14、展組織規定要求。當使用者因比較與選擇目的而評估產品時，要求可以更一般化。 CNS 12680 4.23 使用中品質 (quality in use) 一個範圍代表特定使用者所使用的產品符合其需要，於已規定之使用全景中達成有效性、生產力及滿意度 (satisfaction)的特定目標。 備考： 使用中品質之定義與 ISO 9241-11 中可用性的定義相似。本系列標準之用語中可用性則是用於參照 CNS 14948-1 所描述之品質特性。 4.24 品質模型 (quality model) 特性集與特性間之關係，該特性提供規定品質要求與評估品質的基礎。 4.25 評定 (rating) 對映量測值

15、至適當評等等級的動作，作為決定與軟體之特定品質特性有關的評定等級。 4.26 評定層級 (rating level) 可排序尺度上的尺度點，排序尺度是用來分類測量尺度。 備考 1. 評定等級使軟體可依照所陳述 需要的或隱含的需要來分類 (評定 )(參照第 10.2 節 )。 2. 適當的評定等級可與不同的品質觀點相結合，即 “使用者 ”、 “管理者 ”或“發展者 ”。 4.27 尺度 (scale) 一組具有定義性質的數值。 備考： 尺度型式的範例：與一組種類對應的名目尺度 (nominal scale)；與尺度點之有序集合對應的可排序尺度 (ordinal scale)；與具有等距尺度點之有

16、序尺度對應的間隔尺度；以及具有等距尺度點及絶對零點的比率尺度(ratio scale)。使用名目或可排序尺度的量度產生定性資料，而使用間隔與比率尺度的量度產生定量資料。 4.28 軟體 (software) 資訊處理系統的程式、程序、規則及相關文件化 (documentation)的全部或部分。 備考：軟體為智能的產出，與記錄它的媒體無關。 CNS 9359 4.29 軟體產品 (software product) 電腦程式、程序及可能相關之文件化與資料的集合。 備考：產品包含中間產品與為使用者，如發展者與維護者準備的產品。 CNS 14837 6 CNS 15014-1, X 3014-1

17、4.30 供應者 (supplier) 與獲取者簽訂合約，依據合約內容供應系統、軟體產品或軟體服務的組織。 CNS 14837 4.31 系統 (system) 由一或多個過程、硬體、軟體、設備及人員所構成之整合的組合體，其提供滿足所陳述的需要或目標的能力。 CNS 14837 4.32 使用者 (user) 使用軟體產品以履行特定功能的個人。 備考：使用者可包含運作者、軟體結果的接收者、或軟體的發展者或維護者。 4.33 確認 (Validation) 經由對客觀證據的檢查與供應，證實對特定預圖使用的特定要求已滿足。 備考 1. 於設計與發展階段中，確認關注於檢查產品的過程，以決定和使用者的

18、要求之符合性。 2. 在已定義的操作條件下，通常於最終產品履行確認， 但在較早階段中，也可能為必要的。 3. 已 “確認 ”用以指定相對應的狀態。 4. 若有其他預圖的使用，可執行多重確認。 CNS 12680 4.34 查證 (verification) 經由對客觀證據的檢查與供應，證實已規定的要求已經滿足。 備考 1. 在設計與發展中，查證關注於檢查特定之活動結果的過程，以決定是否滿足活動之已陳述的要求。 2. 已 “查證 (verified)”用以指定相對應的狀態。 CNS 12680 5. 本系列標準與 ISO/IEC 9126 之概觀 5.1 本系列標準與 ISO/IEC 9126

19、之結構 ISO/IEC 9126 系列定義一般用途品質模型與品質特性，且提供量度範例。本系列標準提供軟體產品評估過程的概 觀，且提供評估導引與要求。本系列標準第2 部與本系列標準第 6 部是關於公司或部門層次評估管理與支援，而本系列標準第 3、第 4 及第 5 部提供於專案層次的評估要求與導引。圖 1 與圖 2 顯示這些標準與技術報告之間的關係。 5.2 評估過程 本系列標準提供於三種不同情況下的評估過程導引與要求： (1) 發展 (增強 )(本系列標準第 3 部 )。 (2) 獲取 (本系列標準第 4 部 )。 (3) 獨立評估 (包含第三方評估 (third-party evaluatio

20、n) (本系列標準第 5 部 )。 5.2.1 發展者過程 正在規劃發展新產品或增強現有 產品，並預期由其技術人員中之成員履行7 CNS 15014-1, X 3014-1 產品評估，這樣的組織應使用本系列標準第 3 部。本系列標準第 3 部著重使用於這些指標，這些指標藉由 量測生命週期期間所發展的中間產品，能夠預測最終產品的品質。 5.2.2 獲取者過程 正在規劃獲取或再使用現有或預 先發展的軟體產品，這樣的組織應使用本系列標準第 4 部。本系列標準第 4 部可應用於決定產品驗收的目的或應用於從替代產品中選取產品。 (產品可以是自足的 (self contained)、系統的一部分，或它可為

21、較大產品的一部分。 ) 5.2.3 評估者過程 執行軟體產品之獨立評鑑 (assessment)的評估者應使用本系列標準第 5 部。這種評估可在發展者、獲取者或 其他方的要求下而履行評估。本系列標準第 5 部為履行獨立評估的人員而準備，他們經常為第三方 (third party)組織工作。 5.3 評估支援 能夠將每個評估過程標準與本系列標準第 2 部 (規劃與管理 )及本系列標準第 6部 (評估模組的文件化 )結合使用 (圖 1)。 圖 1 評估支援標準之評估過程的關係 3. 發展者過程4. 獲取者過程5. 評估者過程2. 規劃與管6. 評估模組的文件化評估過程評估支援5.3.1 規劃與管理

22、 本系列標準第 2 部規劃與管理包含軟體產品評估的支援部門要求與指引。支援與軟體評估過程與相關活動的規劃與管理有關，包含發展、獲取、 標準化、控制、移轉 (transfer)及組織內之評估專門技術回饋。管 理者能夠使用本標準產生定量評估 (quantitative evaluation)計畫。 5.3.2 評估模組 本系列標準第 6 部提供文件化評估模組指引，這些模組包含品質模型規格(即特性、次特性及對應的內部或外部量度 )、關於規劃的模型應用的相關資8 CNS 15014-1, X 3014-1 料與資訊及關於實際應用資訊。 為每個評估，選擇適當評估模組。在一些情況中，可能需要發展新評估模

23、組。產生新評估模組的組織能夠使用本系列標準第 6 部。 5.4 軟體品質特性與量度 應將本系列標準中每個標準與 ISO/IEC 9126 中所規劃的標準結合使用，其中ISO/IEC 9126 描述軟體品質特性與量度： (1) 品質特性與次特性 (CNS 14948-1)。 (2) 外部量度 (ISO/IEC 9126-2)。 (3) 內部量度 (ISO/IEC 9126-3)。 CNS 14948-1 定義品質特性、相關次特性及於 ISO/IEC 9126 品質模型之最高的三個層級之間的關係。 ISO/IEC 9126-2 與 ISO/IEC 9126-3 識別每個對應特性與次特性 (參照圖

24、2)量度 (內部與外部 )之間的關係。注意一些內部量度具有相對應的外部量度。 圖 2 ISO/IEC 9126 軟體品質特性與量度 1. 品質特性與次特性2. 外部3. 內部5.4.1 品質特性與次特性 CNS 14948-1 定義一組品質特性與對應次特性。當軟體作為電腦系統的一部分時，外部顯露這些次特性，而且這些次特性是內部軟體屬性的結果。 CNS 14948-1 作為建構品質模型最高之三個層級的基礎。使用者之觀點的品質整體目標是使用中品質。 5.4.2 外部量度 ISO/IEC 9126-2 描述當軟體於使 用中時，這些表示軟體品質的外部觀點量度。當軟體於使用中時，在某個 預先定義期間採取

25、外部測量，像時間與工夫 (effort)之定量值作為這 些測量的基礎，這些測量應用於測試與操作兩個階段中。當於測試期間使用時， 這些測量意指品質層級之早期預估器，一旦使用與操作軟體時，能夠預期 這些測量。此測量一般以使用者有關的品質用語表示。 5.4.3 內部量度 ISO/IEC 9126-3 描述這些量測設計與程式碼有關的軟體內部屬性量度。這些“早期 ”量測作為指標，一旦軟體系統於測試與操作中，這些 “早期 ”量測預測什麼是能夠預期的 。因其為預先防止下游 (forestalling down stream)問題的9 CNS 15014-1, X 3014-1 重要裝置，故內部測量對於發展

26、管理者是最重要的。內部測量作為預測對應的外部測量值。 ISO/IEC 9126-3 顯示哪些內部量度具有對應的外部量度。 6. 評估過程 為了評估軟體品質，首先建立評估要求；其次規定、設計及執行評估 (參照圖 3)。描述每個步驟之細節在標示的小節中。本標準提供過程概觀，本系列標準中其他標準解釋在不同的環境中如何應用過程。 圖 3 評估過程 建立量度的評定等級 ( 8.2 ) 建立評估需求建立評估目的 ( 7.1 )識別產品型式 ( 7.2 )規定品質模型 ( 7.3 )CNS 14948-1品質特性ISO/IEC 9126-2 外部量度ISO/IEC 9126-3 內部量度ISO/IEC 14

27、598-6 評估模組選擇量度 ( 8.1 )建立評鑑準則 ( 8.3 )設計評估 產生評估計畫 ( 9.1 )執行評估進行量測 ( 10.1 )與準則比較 ( 10.2 )評鑑結果 ( 10.3 )規定評估7. 建立評估要求 7.1 建立評估目的 7.1.1 概要 軟體品質評估目的是直接支援符合使用者與客戶需要的 軟體之發展與獲取，最終目標為確保產品提供要 求的品質意即符合使用者的陳述與隱含的需要 (包含運作者、軟體結果的接收者、或軟體維護者 )。 中間產品的品質評估目的可以： (1) 決定分包商之中間產品的驗收與否。 (2) 決定過程的完成與何時送產品至下一個過程。 (3) 預測或估計最終產

28、品品質。 (4) 收集在中間產品上的資訊，以控制與管理過程。 最終產品品質的評估目的可以是： (1) 決定產品的驗收與否。 (2) 決定何時釋放產品。 (3) 產品與競爭的產品互相比較。 (4) 從替代產品中選取產品。 10 CNS 15014-1, X 3014-1 (5) 當使用產品時，評鑑 (assess)是正面與負面效應。 (6) 決定何時加強或更換產品。 在 CNS 14837 中所定義的整個產品發展與獲取生命週期過程中，能夠在定義的品質結構中評估軟體品質。 7.1.2 獲取 當獲取客製軟體產品時，獲取者 應建立外部品質要求、規定供應者要求，以及在獲取前，對照這些要求評估其潛在的購買

29、。 當正在發展產品時，規定品質要 求目標是為了確保產品符合使用者的陳述與隱含的需要 (參照本系列標準第 3 部 )。 當購買軟體產品時，能夠使用評 估以比較替代產品，並且確保所選擇的產品符合品質要求 (參照本系列標準第 4 部中關於獲取者過程與本系列標準第5 部中關於評估者過程，包含第三方評估要求 )。 7.1.3 供應 供應者能夠使用軟體產品評估結 果，以確保產品符合由獲取者或經由與其他產品的比較而設定要求的品質準則。 7.1.4 發展 軟體產品要求表示使用者所考慮 的軟體產品需要，並且於發展前定義軟體產品要求。當軟體產品分解成主 要組件時，衍生自整個產品要求可因不同組件而有所不同，並且可能

30、需要 不同評估準則。在品質評估之前，應該以品質特性與次特性的觀點規定品質要求 (參照 CNS 14948-1)。 在評估初始階段，為了規劃與實 作評估，宜研究與識別這些品質要求。發展者應建立每個相關品質特性的 外部品質要求。應評估品質要求規格的完全性與正確性，以確保已經規定 所有必要之要求且已排除非必要的要求。在遞送之前，發展者需要要求評估產品是否符合要求。 為了達成品質，必須符合所陳述 需要與隱含需要，所以檢查隱含需要是否以充分詳細的方式，規定於所有 相關品質特性之內是重要的。如果可能，採購者或購買者宜評鑑要求，並 且由終端使用者評鑑隱含需要。具有雛型(prototype)之使用者經驗常導致

31、使用中品質要求的更精確聲明。 發展者宜識別內部品質要求。當 使用內部品質要求時，發展者宜識別使用品質模型的這些內部品質要求， 品質模型使內部品質要求與外部品質要求有關聯，並且在發展期間，使用內部要求查證中間產品的品質。 在發展期間應使用軟體評估，藉 由發展過程中規定中間產品的內部品質要求以預測與查證品質。能夠隨後 對照初始要求評估特定預期使用之完整產品的外部品質。 (參照本系列標準第 3 部發展者評估過程。 ) 軟體品質評估結果可用來獲得回 饋，回饋範圍包括不同的發展過程、設計方法或 CASE 工具以符合品質要求。 7.1.5 運作 運作軟體系統的組織能夠使用軟 體品質評估，以確認在不同運作條

32、件下符11 CNS 15014-1, X 3014-1 合品質要求，並且提供關於維護 所需之任何改變之需要的回饋，其中這些改變是維護的原因。 7.1.6 維護 維護軟體系統的組織能夠使用軟 體評估以確認仍然符合品質要求，且達成可維護性與可攜性要求。 7.2 識別待評估產品的型式 待評估之中間或最終軟體產 品的型式將取決於生命週期中階段與評估目的 (參照圖 4)。 目標是當使用者實際使用軟體產品 時，產品符合所陳述需要與隱含需要。當軟體產品是完整硬體 /軟體系統的一部分時，僅能夠評鑑外部品質，當執行軟體時應用外部量度。外部測量值需要比 軟體更多資訊，因此必須評估軟體，作為運作中之系統的一部分。

33、對特定使用者 (可以是終端使用者、運作者或維護者 )而言，使用中品質是，相關品質特性的組合效應。具有使用 中品質的軟體，它必須符合使用者需要，在特定硬體與軟體環境中實施特定任 務。在一個環境中充份地履行的軟體，可能在另一個環境中顯示失誤。所以應 該在儘可能接近於使用之預期條件的模擬條件下，進行品質特性的外部評估。雖然模擬使用之正確條件 (例如網路環境與使用者特性 )也許是不可能的，但是當程式碼是完整的，可以作特性的外部測量。外部測量常常僅是實際使用中品質的指標。 假如無法達成外部品質要求，則為 了改善外部品質，能夠將評估結果作為關於修改軟體特性的回饋，因此支援迭代改善過程。 圖 4 於軟體生命

34、週期中的品質 需求規格真實世界運作外部使用中品質使用與回饋系統為外部品質確認系統整合與測試外部軟體屬性內部設計與發展內部品質需求確認決定指示決定指示需要內部品質外部品質需求12 CNS 15014-1, X 3014-1 為了發展的目的定義內部品質要求 ，使得中間產品品質能被查證。能夠藉由內部量度量測軟體的內部性質 (例如規格或源碼 (source code)。在發展過程期間，內部量度是最受關心的。內部測量 能夠作為外部屬性指標，模組性與可追蹤性(traceability)是能被量測之內部屬性的範例。要求之內部品質的達成將促成符合使用中軟體外部要求，因此內部軟體品質測量能夠作為估計使用中品質指

35、標 (參照圖 5)。 例如，回應時間是評估軟體之可用 性與效率所要求的重要測量，但是在發展期間無法量測回應時間。在發展期間 ，為了評估產品效率，能夠以中間產品或規格為基礎來量測路徑長度。路徑長 度能夠作為指標，在特定條件下提供回應時間的初步估計。 很重要的是內部軟體品質屬性與外 部品質要求是相關的，所以能夠以最終使用中系統品質需要， 評鑑發展 (中間與終端項目軟體產品兩者 )中軟體產品的品質特性。除非有與外部品質相關的證據，否則內部測量是只有少許價值。 圖 5 量測間的關係 實際上使用的測使用中品質測軟體的外部測電腦系統的外部性質測軟體的內部測軟體的內部性質測間接測間接測指示指示關於最終品質之

36、特定屬性將取決於 使用的預期條件關於互動產品，其取決於最後終端使用者與任務需要。將影 響軟體產品品質之需要的其他議題，包括無論是正在購買還是正在發展的產品 、發展階段、以及將被使用的產品硬體、軟體及網路環境。 亦能夠使用電腦系統之外部測量作 為內部軟體品質的間接測量，因此能夠使用電腦之反應時間量測在特殊計算環境中的軟體效率。 7.3 規定品質模型 軟體評估中第一個步驟是使用將軟 體品質分成不同特性的品質模型，來選擇相關的品質特性。軟體評估之品質模 型一般表示軟體品質屬性的總體，其中以特性與次特性的階層樹狀結構分類屬 性。此結構的最高層級由品質特性所構成，13 CNS 15014-1, X 30

37、14-1 而最低層級由軟體品質屬性所構成。 CNS 14948-1 提供一般用途模型，定義六種廣泛的軟體品質特性種類：功能 性、可靠度、可用性、效率、可維護性及可攜性這些品質特性能夠更進一步分 成具有可量測之屬性的次特性。在特定使用情況中品質特性的組合效應被定義成使用中品質。 內部軟體產品品質屬性是軟體產品的可量測性質，其屬性影響產品滿足所陳述需要與隱含需要的能力，我們能夠使用一或多個屬性，來評鑑特定軟體品質特性或次特性 (圖 6)。 圖 6 品質特性、次特性及屬性 xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx內部屬性外部屬性屬性次特性特性對每個要求的次特性，宜識別足夠的內

38、部與外部屬性。 與任何特殊情況相關的實際特性與 次特性將取決於評估目的，並且宜由品質要求研究識別之。 CNS 14948-1 特性與次特性提供關於品質議題之有用的核對表列，但其他分類品質的方法可能更適合於特殊環境中。 備考： 範例為 IEC 50(191)定義相依性，範圍至使用者能夠正當地依賴由系統所交付的服務，分為可靠度、可用性及可維護性的特性，亦能夠包括可用性、可復原性、生命財產安全、可擴充性及安全性。 8. 規定評估 8.1 選擇量度 重要的是能容易與經濟地作軟體產 品測量，並且最終測量結果是易於使用的。利用某種工具可便利地作許多軟體測量，許多軟體測量可以包裝成評估模組 (本系列標準第

39、6 部 )。 在已經定義之品質特性中不允許直 接測量的方法。存在建立關於軟體產品特性的量度需要。能夠建立軟體的每個 可定量內部屬性與軟體的每個可定量外部屬性作為量度，其中軟體與特性有關的環境相互影響。 量度能夠依環境與 發展過程 (在此過程中使用量度 )的階段而有所差異。因為使用者觀點之量度是具有決定性的， 所以發展過程中所使用的量度宜與使用者觀14 CNS 15014-1, X 3014-1 點量度 (perspective metric)有關。 備考： ISO/IEC 9126 系列標準第 2 部與第 3 部 (發展中 )將提供量度的範例與針對每個次特性，如何選擇與總結量度的解釋。 8.1

40、.1 測量的型式 有兩個評估的廣泛目標： (1) 識別問題，以便矯正。 (2) 產品與替代產品的品質相比較，或對照要求 (可能包括驗證 )。 需要之測量型式將取決於評估的目的。如果主要目的是 要瞭解與矯正缺陷，軟體可作數個測量以監視與 控制改善。許多廣泛範圍措施的能夠有助於達成此目的，包括核對表列與 專家意見。主要的要求是測量正確地識別衝擊，軟體中的任何變更對品質有衝擊。 需要更嚴格的量度，在產品之間 或是利用準則值作可靠的比較。測量程序宜量測軟體品質特性 (或次特性 )，其中測量程序 要求有足夠準確度的量測，以允許設定準則與作比較。重要 的是評估規格針對每個量度規定精確的品質模型、測量方法、

41、尺度及評定 層級。當產品與不同屬性相比較時，核對表列與專家意見的資料可能是不 可靠的。宜允許由測量工具或人為錯誤所引起之可能的測量錯誤。 8.1.2 測量的要求 內部量度應具有預測的有效性 (validity)，換言之，量度應與某個預期的外部準則有關。例如當使用軟體時， 特殊軟體屬性之內部測量應該與某個品質的可量測觀點有關。重要的是測 量指定符合正規期望的數值；例如，如果測量建議產品為高品質的，則應與滿足特殊使用者需要的產品是一致的。 8.2 建立量度的評定層級 能夠使用品質量度以定量地量測可定量的 特徵。結果 (即量測值 ) 對映至尺度上，此值本身不顯示滿意度的層級 。為此目的，必須將尺度劃

42、分成對應要求滿意度之不同程度的範圍。範例如下： (1) 將尺度劃分成兩個種類：不滿意與滿意。 (2) 將尺度劃分成四個種類，由現有或替代產品之目前的層級、最壞情況的層級及規劃的層級界定四個種類。陳述目前的層級是為了控制新系統不要從目前的環境中惡化；規劃的層級是考慮可用的資源可達成什麼；最壞情況的層級是使用者驗收的界限，如果產品未達成規劃的層級 (圖 7)。 15 CNS 15014-1, X 3014-1 圖 7 量度的評定層級 已規劃的層級已測的值目前層級最差的情況超出需求滿意標的範圍最小可接受的可接受的測標評定層級滿意8.3 建立評鑑準則 應該使用適當之良好定義的品質模型，定義軟體品質要求

43、規格，為此目的，除非有一個使用其他模型的特殊理由，否則宜使用 CNS 14948-1 中品質模型與定義。 為了評鑑產品的品質，需要總結不 同特性的評估結果。評估者為此宜準備一個程序，不同品質特性有各自的準則 ，每個品質特性可能與個別的次特性或加權的次特性組合有關。此程序通常將 包括其他的層面，例如在特殊環境中，提供軟體產品之品質評鑑的時間與成本。 9. 設計評估 9.1 產生評估計畫 評估計畫描述評估方法與評估者動作的排程 (參照本系列標準第 3、第 4 或第 5部 )，其宜與測量計畫 (本系列標準第 2 部 )一致。 10. 執行評估 10.1 採取措施 為了測量，所選擇的量度是適用於軟體產

44、品，結果為量度之尺度上的值。 10.2 與準則比較 在評定步驟中，量測值與事先決定的準則相比較 (例如圖 7 所示 )。 10.3 評鑑結果 評鑑是軟體評估過程的最後步驟，總結一組評定的層級。結果是範圍至軟體產品符合品質要求的聲明。然後，總結的品質與其他的層面相比較，例如時間與成本。最後，基於管理準則，將制定管理決策。結果是驗收或拒絶的管理決策，或是軟體產品的發售或不發售的管理決策。 16 CNS 15014-1, X 3014-1 評估結果對於軟體發展生命週期中下個步驟的決策是重要的。例如，必須改變要求嗎？或是發展過程需要更多的資源嗎？ 11. 支援過程 是協助評估的活動，藉由收集評估工具與

45、方法上的資訊、發展與確認量度，以及標準化評估過程、量度與測量協助評估。本系列標準第 2 部包含軟體產品評估之支援過程的要求與導引。 相對應國際標準： ISO/IEC 14598-1:1999 Information technology Software product evaluation Part 1: General overview 17 CNS 15014-1, X 3014-1 參考 1 IEC 60050-191:1990, International Electrotechnical Vocabulary Dependability and quality ofservice.

46、 2 IEEE 610.12-1990, Standard Glossary of Software Engineering Terminology. 3 ISO/IEC 9126-2:-1), Information technology Software quality characteristics and metrics Part 2: External metrics. 4 ISO/IEC 9126-3:-1), Information technology Software quality characteristics and metrics Part 3: Internal m

47、etrics. 5 ISO 9241-11:1998, Ergonomic requirements for office work with visual display terminals (VDTS) Part 11: Guidance on usability. 其他參考文獻 6 Arthur, J.D. and Nance, R.E., Developing an automated procedure for evaluating software development methodologies and associated products A final report, T

48、echnical report SRC-87-007, Systems Research Center and Virginia Tech, 1987. 7 Azuma, M (Editor), Software Quality Evaluation Guide Book (Japanese), JISA, 1994. 8 Azuma, M. Software Products Evaluation System: Quality Models, Metrics and Processes - International Standards and Japanese Practice, Inf

49、ormation and Software Technology, Vol. No. , 1996, Elsevier. 9 Basili, V.R. and Rombach, H.D., The TAME Project: Towards improvement oriented software environments, IEEE Trans. Software engineering, June 1988. 10 Bevan N Measuring usability as quality of use. Journal of Software Quality, 4, p.115-130, 1995. 11 Bevan N and Azuma M (1997) Quality in use: Incorporating human factors into the software engineering lifecycle. In: Proceedings of the Third I