OpenSearch等の全文検索スコアでレコード重複(同一人物等)を自動判定する閾値を決める際、AIで閾値を直接決めるのではなく、AIを開発用の仮ラベラーとして使い最終的な閾値はオフライン評価で決めるのが安全。手順は(1)既存の重複統合済みデータをgold、メール完全一致など強い特徴をsilverとして先にラベル付与、(2)残りをAIにsame/different/unsureで判定させconfidenceが低いものとgold/silverと食い違うものだけ人手レビュー、(3)正解データが数百〜千件溜まったらルール候補を総当たり評価し、自動確定precisionを最優先(recallは犠牲でよい)に設定を選ぶ。本番判定は説明可能なルール+閾値に固定し、AIはラベル生成とレビュー優先度付けに閉じ込める。