ゼロ件の良好メトリクスは検知母数を併記しないと実績と解釈しない
可観測性
品質評価
メトリクス設計
運用
原則
「品質漏れ0件」「エラー0件」のようなゼロ件の良好メトリクスは、それ自体では実績にならない。検知の母数(テスト・QA・チェックの実施率やカバレッジ)が低い状態でのゼロは「検知していないだけ」と区別がつかない。
判断基準
- ゼロ件を成果として報告する前に、その欠陥を検出しうる仕組みが実際にどれだけ回ったか(実施率・未整備率・評価不能率・対象外率)を必ず併記する。母数が小さいうちはゼロを実績と解釈しない。
- 分母の内訳で原因を切り分ける: 対象外は正当に検査不要かもしれないが、UI 変更が続く期間に対象外が並ぶなら判定が甘い兆候。評価不能が多いのは環境側の問題の反復で、検知網の穴とは別に扱う。
- 効果測定は単発のゼロでなく、分母と併せた指摘件数の時系列推移で判定する。
落とし穴
- ダッシュボードやサマリで良好メトリクスだけが独り歩きし、検知網が機能していない事実が隠れる。分母をセットで表示する設計にしておく。