AI回答の誤りを防ぐ確認チェックリスト

課題
解決できるようにすること
本文

課題

AIの回答って、間違っていても文章だけは自然だったりする。「ここまで言い切っているなら合ってそう」と、そのまま使いたくなるのが一番怖いところ。

解決できるようにすること

AIを信用するか、信用しないかで迷うのではなく、回答を採用する前に確認する場所と、確認できなかったときの扱いを決められるようにする。

本文

「AIの回答はDraft」と決めるところから始める

自分はAIと一緒に個人開発を進める中で、AIが完了と判断した内容の見落としを、自分の何気ない一言から何度も見つけたことがある。

「同意しなくても使えるんだよね？」と確認したら、許可画面を呼び出す処理そのものが無かった。「なぜその画像に置いたんですか？」と聞いたら、内容との対応ではなく消去法で配置していた。「横幅に余裕がなくないですか？」と指摘したら、画像が横にはみ出す計算になっていた。

どれもAIの文章をもう一度AIに読ませるだけではなく、Code、画像、実際の画面と照らし合わせたことで見つかった。ここから先は、この確認を毎回できる形へ分けていく。

まずRiskを6種類に分ける

数値・日付・期限

元の資料と1項目ずつ照合する
合計や差分は電卓、Spreadsheet、Program等の別手段で計算する
為替や価格には確認日を付ける
固定値に見えても、利用上限やPlan条件は変わる前提で扱う

法務・医療・財務などの高Risk判断

AIは論点整理とDraftまでに留める
最終判断者と確認先を先に決める
「専門家へ確認」が必要な箇所を回答内で分ける
確認できないまま実行しない

長文の矛盾・抜け

決定事項、未決定事項、例外を分けて抽出する
冒頭と結論で条件が変わっていないか見る
原文の該当箇所を付けてもらい、自分で戻って確認する
「書かれていない情報」を補完していないか見る

表・JSON・Code

見た目ではなくParserやTestへ通す
行数、必須Column、型、合計値を確認する
正常系だけでなく、空欄、0、最大値等の境界を試す
AIが作ったTestだけで十分と決めず、期待結果を人が確認する

画像と画面表示

指定Pixel数だけでなく、文字切れ、余白、重なりを目で見る
文言と画像の内容が一致しているか確認する
PCとMobile、実機とPreview等、実際の表示先で見る
Upload後の表示も確認する

画像が規定Pixelに収まっていても、端末Frameが横にはみ出していた例では機械的なCheckを通過していた。最後に人が見る工程を消すと、こういうズレが残る。

根拠・再現・常識の3段階で見る

1. 根拠Check

「その答えは何を根拠にしているか」を見る。URLが付いているだけでは不十分で、Link先に本当に同じ内容が書かれているかまで確認する。

2. 再現Check

手順、計算、Codeなら、自分の環境でも同じ結果になるか試す。再現できなければ、Version、Account条件、入力Dataの違いを記録する。

3. 常識Check

最後は「その結果を実際に使ったら変ではないか」を人が見る。画像と文言のズレ、読み手に伝わらない表現、業務上あり得ない期限は、形式Checkだけでは拾いにくい。

AIに再Reviewさせるだけでは足りない

AIに「間違いがないか確認して」と頼むのは補助にはなる。ただ、最初と同じ前提や同じ情報だけを渡せば、同じ見落としを繰り返す可能性がある。

再Reviewでは、役割を変えるより確認材料を増やす。

次の回答を採用する前に確認します。

1. 入力に書かれている事実と、推測した内容を分けてください。
2. 数値・日付・固有名詞を一覧にしてください。
3. 確認に必要な公式Sourceまたは実行手順を示してください。
4. 確認できない項目は「未確認」としてください。
5. 反対の結論になる可能性がある条件を挙げてください。

この出力も完成品ではない。人がSourceと実行結果を確認するための一覧として使う。