UI変更は再実行可能なシナリオとsmoke実走を完了条件にする
フロントエンド
品質保証
テスト自動化
判断
運用
原則
ユーザーに見えるUIを変更した場合は、再実行可能な操作シナリオを準備し、そのシナリオによる実画面のsmoke検証までを完了条件にする。既存シナリオがあれば再利用または軽微な変種を作り、なければ変更と同時に新しく用意する。手動ブラウザ確認はlocator探索や一時的な診断には使えるが、再実行可能な証跡が残らないためsmokeの代替にはしない。
シナリオが無いと判断する前に、変更対象のディレクトリだけでなくリポジトリ全体を探索する。実走では対象の表示や遷移を通し、ステップ失敗、実行時例外、コンソールエラー、HTTPエラーなどの決定的な信号を確認する。結果は合格・製品側の失敗・環境起因の評価不能を分け、評価不能は省略扱いにせず環境を直して再実行する。
この運用により、エージェントが一度だけ目視して完了とする状態を避け、同じ変更を将来も同じ手順で回帰確認できる。UIに見える変更を含まない作業だけを対象外とする。