金融機関のシステム開発及び運用を担う子会社を題材に，システム開発における品質管理の適切性の監査について問う問題。
残念な私の解答
| 設問 | 解答 | |
|---|---|---|
| 設問1 | 単純ミスや指標に合致しない記述の修正指摘などは、レビュー指摘件数のカウントから場外するルールかどうか | |
| 設問2 | 設計書を流用した場合の指摘密度に関する指標値が、新規作成の半分以下であること | |
| 設問3 (1) | レビューアのレビューの観点や指摘区分に偏りがなく網羅的に行われているかの確認 | |
| 設問3 (2) | サンプリング件数が3件と少なく、私的密度が指摘値の範囲外のものを含めてもっと多く分析するべき | |
| 設問4 | 障害の根本原因分析及び対策立案実施し、各開発部に横展開を行ったうえで完了を承認しているか |
IPAの解答例
| 設問 | 解答 | |
|---|---|---|
| 設問1 | レビュー指摘件数としてカウントする指摘内容の判断基準が明文化され，各開発部に周知されているか。 | |
| 設問2 | 実績値が指標値を下回った理由について，品質管理部が審査して承認していること | |
| 設問3 (1) | レビューアによってレビュー観点が異なり，指摘区分に偏りが発生していないか。 | |
| 設問3 (2) | 表計算ソフトを使用して傾向を分析するなら，サンプリングではなく全件調査すべきである。 | |
| 設問4 | テスト標準で定められたテスト密度などの実績値が工程完了の判定基に含まれているかどうか。 |
解答の検討
設問1
レビュー指摘件数のカウント方法について、監査部が品質管理部に確認した内容を答える問題。
[詳細設計工程の完了判定に関する確認]の(1)に、「新人の教育を兼ねて、すべての指摘を書かせたが、重要性が低いものを除外した」という旨のことが書かれている。ここで、カウントする指摘と除外する指摘の判断基準が、ガイドラインされているかどうかがポイントになる。表1のレビュー標準の記載には、指標値の記述のみで、上記判断基準の記載があるかが不明である。
「 レビュー指摘件数としてカウントする指摘内容の判断基準が明文化され，各開発部に周知されているか。 」が正解。
設問2
工程完了の基準を満たさないプロジェクトに関する判定の妥当性を確認する監査ポイントを問う問題。
[詳細設計工程の完了判定に関する確認]の(2)に、「指摘密度が指標値の半分以下」と記述され、その理由が設計書の流用にあるという。ここで、品質管理部が統計的に、設計書を流用した場合の指摘密度に関する指標値を押さえているかが気にはなる。しかし、ここは一歩考えを進めて、品質管理部が、実績値が指標値を下回ったことについて、工程完了判定で審査しており、そのうえで承認しているかを確認する必要がある。
「 実績値が指標値を下回った理由について，品質管理部が審査して承認していること 」が正解。IPAの講評には以下の記述がある。「 流用元のシステムの品質評価結果についての解答が多く見られた。レビューの指摘密度が指標値を満たさなかった理由について，品質管理部が，“過去に開発したシステムの設計書を流用できたこと”などの理由の妥当性を審査して承認していることをシステム監査人は確認すべきである，という点を理解してほしい。 」。
設問3（１）
表計算ソフトを使用してレビュー記録表を一覧化して確認しようとした監査手続の目的を答える問題。 [詳細設計工程の完了判定に関する確認]の(3)に、「レビュー記録表には、… レビュー観点、指摘区分、発生原因が記述されている」とある。一覧表で見える化したいものは、やはり指摘区分からレビュー観点に偏りがないかどうかだろう。
「 レビューアによってレビュー観点が異なり，指摘区分に偏りが発生していないか。 」が正解。
設問3（２）
中規模以上の21件のうち、詳細設計工程の指摘密度が標準値の上下20％の範囲内のものが19件、その中の3件を一覧表にして比較・検討すると書かれている。この3件で妥当かどうかであるが、比較するには件数として少ないし、20％の範囲外のものを含めるべきである、と考えると「全件」となる。正解は「 表計算ソフトを使用して傾向を分析するなら，サンプリングではなく全件調査すべきである。 」。
設問4
システムテスト工程の完了判定基準について，不足している可能性がある項目を答える問題。テスト標準の内容として表 1 に示されている項目が工程完了の判定基準に含まれているかを解答した場合、「 テスト標準で定められたテスト密度などの実績値が工程完了の判定基に含まれているかどうか。 」が正解。一方、 [システムテスト工程の完了判定に関する確認] の「不具合が解決すればシステムテスト工程が完了したとみなし」の記述から、障害の根本原因分析プロセス不十分の可能性もある。従い、「 障害の根本原因分析及び対策立案実施し、各開発部に横展開を行ったうえで完了を承認しているか 」等の回答も考えられるが、IPAの回答例に上記別解はない。