カメラ追跡UIの動作検証は、実写真の上を仮想カメラが動く正解位置つき合成モーションで真値採点する
テスト設計
画像処理
デバッグ
運用
実機録画のリプレイ検証は症状の再現には有効だが、2つの限界がある。(1) 毎フレームの対象の正解座標がなく、「枠が対象から外れている(ゴースト)」「対象が見えているのに検出できていない」を厳密に採点できない。(2) モーションの種類(上下パン・急パン・手ブレ・ズーム)を網羅できず、録画に含まれる動きしか検証できない。
解決策: 対象が複数写った高解像度の実写真を「世界」にし、その上を仮想カメラ(ビューポートのクロップ+リサイズ)が動くフレーム列を生成する。ビューポートの軌道は自分で制御するので、各対象の正解座標と可視率が毎フレーム式で導出できる。
手順
- 世界写真上の対象位置を一度だけアノテーション(検出モデルの単体適用で自動化できる)。
- モーションパターンをキーフレームや乱数歩行で定義(例: 静止→急移動→静止の繰り返し、smoothstep の往復パン、分散固定のランダムウォーク手ブレ、ズームはビューポート幅の変化)。乱数はシード固定で再現可能にする。
- 生成動画を本物の実装へフェイクカメラ入力し、表示された枠をサンプリング。正解と突き合わせて「ゴースト率(どの可視対象とも重ならない枠)」「完全可視時の対象別検出率」「同一対象への多重枠数」を採点する。
効用・注意
- 対象別の検出率が出るため、「特定デザインの対象だけ検出率が低い」型の偏り(例: 多色デザインで領域提案が断片化する)を発見できる。集計値だけでは埋もれる。
- モーション合成はモーションブラーを含まないので、ブラー起因の検出低下は別途実録画で確認する。
- 実録画リプレイ(症状再現)・移植シミュレータ(パラメータ探索)と相互補完であり、置換ではない。