モデルや検知器の評価軸を「素の実力」で測るために製品側の後処理（抑制・フィルタ・除外ルール）を意図的に外すことがある。正解データが後処理の前提を満たしていない場合、後処理を掛けると正解側が取りこぼされて偽の未検出が混ざるためで、この判断自体は妥当なことが多い。

問題は、その軸の数値が製品の挙動として読まれてしまうことにある。

観測された事実

物体検出の誤検出率を、製品の入れ子抑制を切って測っていた。実測すると抑制の有無で値がおよそ半分違った（あるモデルで 0.037 対 0.013、別モデルで 0.057 対 0.027）。倍率は両モデルで揃っていたため順位は狂わなかったが、絶対値は製品の誤検出量として全く使えなかった。誤検出の中身を可視化すると、大半が「対象物の内側にある要素を拾った箱」で、まさに製品の抑制が消す種類だった。

判断基準

• ゲートは厳しい側（後処理なし）で維持する。後処理を掛けると合否が緩む方向に動くなら、掛けない方が安全側である
• 同時に、製品ポリシーを掛けた数値を参考値として同じ出力に併記する。ゲートには使わない
• 参考値に閾値を付けない理由を明記する。再現ばらつきを実測していないうちに閾値を引くと、合否が実力ではなく偶然で決まる
• 参考値を毎回出力しておけば、ラウンドを重ねるうちにばらつきの実測が貯まり、後から根拠のある閾値を引ける。記録していない値は遡って取れない

併記する軸を1本に増やさない

1つの軸に複数の合否条件を載せると、別の軸が見るべき壊れ方でその軸が落ちるようになる。参考値はあくまで出力であって判定条件ではない、という分離を守る。

検証方法

参考値を足す変更は、既存のゲート数値が変更前と完全一致することで検証する。加えて、参考値が独立に書いた別実装の測定と一致すること、そして質の違う複数モデルを識別できること（同じ値にならないこと）を確認する。識別できない指標は、記録しても後で閾値の根拠にならない。