モデル改善ループの逐次 fine-tune はシーソーを起こす — 出荷判定は指標全勝でなく報告事象の解消+回帰ゼロで区切る
テスト設計
設計判断
ML
判断
運用
実機フィードバックを受けて検出モデルを短サイクルで改善するとき、直前チェックポイントからの fine-tune を連鎖させるとシーソー(直近の課題に寄って既習課題が微退行)が起きる。全課題入りデータでのゼロから再学習も万能ではなく、軸ごとに一長一短になり得る(データ配分のバランス問題は残る)。
判断基準
- 小さいモデル・短サイクルの改善では、ラウンドごとに全評価軸(既存ユースケースの回帰テスト含む)を回し、シーソーを早期検知する
- 出荷判定は「全指標の同時全勝」を要求しない。ユーザーが報告した事象の解消+既存合格軸の回帰ゼロを満たす最良候補で区切り、残るテール(難易度の高い組み合わせ条件)は既知の限界として記録し次ラウンド候補に回す
- 候補間の優劣は単一スコアでなく「ユーザー可視の欠陥か」で重み付ける(例: 明示的に苦情のあった誤検出の解消 > 自己課した評価セットの数ポイント)
- 信頼度閾値の微調整は最後の仕上げとして有効(境界スコアの弱い誤検出だけを切る。正検出のスコア帯と十分に離れていることを全軸で確認してから適用)