AI・自動判定は soft signal に閉じ、決定性が要る所は別機構に置く
設計判断
AIエージェント
LLM
AI活用
原則
AI・LLM・自動分類の出力を、本番の確定判定や hard ゲート、恒久ブロックにしない。最適化するのは「AI を補助・委譲・ラベラーとして使い、人が容易に訂正でき、決定性は別機構で担保すること」、避けるのは「AI の判定をそのまま自動確定・恒久ブロックにし、誤りを訂正不能にすること」。
判断基準
- 自動分類・類似判定は soft signal として扱い、hard なゲートにしない。境界が曖昧な軸は定義と例を明確にし、ユーザーが容易に訂正できるようにする。本番の確定判定は AI でなく説明可能なルール+閾値に固定し、AI はラベル生成やレビュー優先度付けに閉じ込める(閾値や採否はオフライン評価で決める)。
- 生成は責務を分離する。サーバ/ツール側は生成に必要な構造化コンテキストを返す read 経路と、生成結果を保存する write 経路に分け、生成自体はクライアント AI に委譲する。保存はユーザーが保存意図を示したときだけ行う。
- AI エージェントの遵守は確率的であり、散文ルールやスキルは発火確率を上げる層にすぎない。確実な強制が要る義務は、決定的な機構(完了時 hook、制約、人の承認)で固める。ルール/スキルだけで「必ず守る」を期待しない。
- 自動保存の摩擦は誤りの影響範囲(blast radius)で非対称にする。毎セッション効く恒常設定は提案+承認、後から訂正できる蓄積データは自動保存+事後報告。却下は永久ブロックにせず、状況が変われば再提案できる条件を残す。
なぜ
AI 出力は確率的で、そのまま hard な確定にすると誤りが訂正不能なコストになる。soft signal に閉じ、決定性を人・hook・ルールに置けば、AI の速度と安全な可逆性を両立できる。
検証
AI の判定・生成が誤ったケースを用意し、(1) 自動確定でなく訂正・確認に回るか、(2) 確実性が要る義務が AI の想起頼みでなく決定的機構で担保されているか、(3) 却下・誤分類が恒久ブロックにならず再提案・訂正できるかを確認する。
根拠(synthesize 元)
- 372 全文検索の重複判定は AI を本番判定器でなく開発用ラベラーに限定する
- 441 MCP で生成処理をクライアント AI に委譲する設計
- 508 エージェントが書き込む記憶層の保存ポリシーは影響範囲で非対称にし、状態はサーバ側で一元管理する
- 533 エージェントに完了時の複数義務を守らせるルール/スキル設計(hook なし・確率改善層)