AIセッションログの人間駆動/エージェント駆動判別は user ターン数と必須マーカーで行い、誤りを安全方向に倒す
AI協働
ログ解析
判断
運用
AI エージェントのセッションログ群を分析・収穫するとき、「人間が駆動した対話セッション」と「別のエージェントが委譲で生んだワンショット実行」の区別が重要になる。委譲セッションの user メッセージは委譲元 AI の作文であり、「人間の判断の証拠」として扱うと誤った分析(反復指示の誤カウント等)を生む。
判別方法
- ファイル名や格納場所では区別できない(委譲先も通常のセッションファイルを作る)。中身の形で判別する
- 実 user テキスト数 ≤2(ツール結果・コマンドエコー・環境注入ブロックは除外) かつ 先頭メッセージに委譲テンプレの定型マーカー(重大度語彙・検証制約・計画ファイル参照等)があること
- マーカーは必須条件にする。長文プロンプト単独での判定は、人間の一発長文依頼と区別できず危険
- グローバル指示ファイルが user メッセージに混入するクライアントがあるので、注入ボイラープレート内のマーカーヒットは数えない
設計原則
- 誤判定のコストは非対称。「委譲→対話」の誤りは余分に読むだけだが、「対話→委譲」の誤りは人間の判断材料を捨てる。閾値は後者がゼロになる方向に寄せ、実測(正解ラベル付きセット)で誤りの方向を確認してから運用に乗せる
- 併用すると強い第2シグナル: セッション自身が知見保存ツールを呼んだ痕跡。ただし文字列 grep ではツール定義・指示文にヒットするので、実呼び出し(tool_use / function_call エントリ)だけを数える
検証
正解ラベルを付けたセッション集合(数十件)で精度と誤りの方向を実測する。精度そのものより「危険方向の誤りがゼロか」を合格基準にする