モデル学習へ投資する前に「理想検出器+実測レイテンシ」でアーキテクチャ側の成立を先に検証する
テスト設計
設計判断
ML
判断
運用
「検出モデルを学習すれば UX が改善するはず」という見込みには、2つの独立なリスクが混在している。(1) モデルの検出品質、(2) アーキテクチャ(推論レイテンシ・補間・寿命管理)の成立性。学習にはデータ作成・訓練の投資がかかるので、先に (2) だけを切り出して検証すると、投資前に Go/No-Go を判定できる。
手順
- 正解位置つきの評価シーケンス(合成モーション等)上で、学習予定モデルを「理想検出器」(GT + 現実的なノイズ: 中心ジッタ数%・ドロップアウト数%)で置換する
- 推論レイテンシは実機実測値を使い、感度(実測±50%)も振る。トラッカー補間・表示寿命など実装予定の時系列処理をそのままシミュレートする
- 表示可用率・位置精度(IoU)・ゴースト率・表示の出入りを採点し、現行構成の同一シーケンス実測と比較する
- 理想検出器でも成立しないなら学習は無駄(アーキテクチャか実行基盤を先に直す)。成立するなら残リスクはモデル品質のみに局所化され、事前合格基準(未見セット検出率等)でゲートできる
効用
- 学習インフラ・アノテーションの投資判断が「予測」でなく「アーキテクチャ側は数値で確認済み」になる
- レイテンシ予算(どの推論速度まで許容できるか)が先に決まるので、モデルサイズ選定の制約条件になる
- 理想検出器の数値は上限値であることを明記して扱う(実モデルは必ずこれを下回る)