入力が連続量なら能力評価も連続掃引で測る — 代表点の集合は帯状の穴を素通しする
テスト設計
品質評価
eval
判断
運用
対象の大きさ・距離・明るさ・速度のように、入力が連続量として変化する系の評価を、いくつかの代表ケース(固定サイズの検体、いくつかの構図)だけで組むと、連続軸上の帯状の欠損を検出できない。代表点がたまたま帯の外に落ちていれば、全軸合格のまま本番で「普通の使い方だけ動かない」が起きる。
観測した失敗
検出器の評価が、多数対象のシーン・固定サイズの実写検体・特定の2サイズの合成フレーム、という離散的な事例の集合で構成されていた。実際には対象の大きさを連続的に変えると、中間サイズの一帯だけが完全に検出不能だった。その帯が最も普通の撮影距離で、実利用でのみ表面化した。どの評価軸もその帯にサンプル点を持っていなかった。
判断基準
- 変化しうる連続量を列挙し、そのうち利用者が最も普通に使う範囲が評価に含まれているかを見る。極端値(最小・最大)だけ押さえて中間が空くのはよくある形
- 掃引軸は1つずつ独立に動かす。組合せ爆発を避けつつ、帯の有無は1軸掃引で十分に見える
- 掃引の合否は「全点通過」か「連続する2点以上の欠損なし」かを、健全なモデルの実測ばらつきを見てから決める。基準を先に決めて後から結果に合わせて緩めない
確認方法
軸に沿って等間隔で値を振り、各点の結果を並べて出力する。単発の落ち込みは系のばらつき、連続した落ち込みは構造的な欠陥として扱いを分ける。両者は原因も対処も違う。
一般化
レイテンシとペイロードサイズ、同時接続数、時刻・日付境界など、連続量やそれに準じる順序量を入力に持つ機能全般に同じ。個別事例の積み上げは「見たものは動く」しか保証しない。