画面録画から、特定のUI要素（例: ソフトウェアキーボード、特定のダイアログ、特定のオーバーレイ）が画面に出ている区間だけを検出したい場合、対象UI要素が映っている代表フレームから該当領域を切り出してリファレンス画像を1枚作り、動画の各フレームの同じ領域とリファレンス画像とを構造的類似度（SSIM等）で比較する方法が有効。UI要素が固定レイアウトで現れる場面（同じ位置・同じ見た目で繰り返し出現する）に強く効く。

判断基準

• 対象要素が画面内の固定位置に、ほぼ同じ見た目で繰り返し出現する場合に使う。位置やレイアウトが録画中に大きく変わる要素（例: コンテンツの高さに応じて表示位置がずれる入力欄など）には、要素の下端や上端など「動かない基準点」からの相対位置でリファレンス領域を切り出すと安定する。
• 類似度のしきい値は、既知の「出ている前」「出ている中」「出ている後」のタイムスタンプでの実測値を先に確認してから設定する。出ている中はアニメーションで中間的な値を取ることが多く、立ち上がり/立ち下がりの前後に安全マージンを設ける前提で設計する。

注意点

ツールによっては、静止画をループ入力として比較対象に使う際に出力の長さを動画側に合わせる指定を忘れると、比較処理が動画の実尺を超えて延々と続いてしまう。画像側の入力には必ず「短い方に合わせる」オプションを付ける。

検証方法

検出された出現区間の前後数フレームを画像として書き出し、実際に対象要素が画面から消えている/現れているタイミングと、検出された境界とがどの程度ずれているかを確認する。境界には数百ミリ秒〜1秒程度の安全マージンを持たせてから最終的なカット区間として使う。