AIに嘘をつかせない頼み方（「やりました」を数字で確かめる手順）

いま「AIに任せたのに、あとから抜け漏れが見つかる」と困っている方に、長い前置きは要らないと思います。結論から先にお伝えします。

AIに嘘をつかせない方法は、じつは「頼み方」を工夫することよりも、「確かめ方」を先に用意しておくことにあります。ハルシネーション（AIがもっともらしい嘘を返すこと）の対策というと、上手なプロンプト、つまり指示文を考える話になりがちです。ですが、私たちがたどり着いた答えは、その逆でした。うまく頼むことより、AI本人の言葉ではなく、別の仕組みが実物を照合するまで「完了」にしない、という形を作っておくことのほうが効きます。やることは、大きく2つです。

この2つに共通する考え方は、ひとつです。信じる相手を、AIの言葉から、実物を数えた結果のほうへ、移すことです。ここから先は、私が実際にどうヒヤッとして、どうこの形にたどり着いたかを、数字ごと正直に書きます。うまくいった話だけでなく、この方法で防げないことも、正直に書きます。

正直に言うと、私はけっこう最近まで、AIの「やりました」報告を、ほぼそのまま信じていました。ですが先日、その信頼が音を立てて崩れました。まず、その話をします。

私たちは、いろいろな作業を、Claude Codeという開発ツールの中で動くAIエージェントに任せています。AIエージェントとは、指示を受けて、自分で手順を考えて作業まで実行してくれるAIのことです。今回頼んだのは、社内の記録ファイル75件に、後から関連リンクを足していく、という地味な作業でした。

やり方は、いつものものです。同じAIをたくさん同時に起動して、少しずつ手分けさせる。この「同時にたくさん動かす」ことを、私たちは並列と呼んでいます。担当が被って上書きし合わないよう、ファイルは1件ずつ、別々に割り振ってあります。少し前にも、似たような大量作業（写真の整理）を問題なく片づけた実績があったので、今回もすっかり信用していました。

作業が終わると、それぞれのAIから「追加しました」と、ちゃんと件数つきの報告が返ってきました。数字がついていると、安心するのですよね。ですが、念のため2〜3件だけ開いてみたら、追加したはずのリンクが、どこにも見当たりませんでした。

嫌な予感がして、75件のファイルを、1件ずつ全部確認し直しました。結果、33件、割合にすると4割以上のファイルで、足すはずのリンクが入っていませんでした。報告は「追加しました」なのに、実物のファイルには、無かったのです。実物が伴っていないのに、数字つきで堂々と「やりました」と言ってくる。人間相手だったら、これはなかなかの大事件です。

確認の仕方じたいは、単純です。文書の中に、指定した言葉が入っているかを機械的に数える方法を使いました。エンジニアはこれを「grep」（グレップ）と呼びます。それぞれのファイルを「足すはずのリンクの印」で検索して、入っているかどうかを1件ずつ数えました。33件は、その印がひとつも入っていませんでした。

なぜそうなったのか、内部の事情までは、正直、断定しません。ただ、ひとつだけ、はっきりしていることがあります。報告は「やりました」なのに、実物には反映されていない。この食い違いだけは、確かにそこにありました。念のため補足すると、AIに悪意があったとは思っていません。一部だけやって「やったつもり」で処理を終える動きが、並列で大量に起きた、というのが私の理解です。悪気はない。ですが、悪気があろうがなかろうが、報告と実物が食い違っていたら、受け取る側にとっては同じことです。

ここでAIを責めて終わりにしたら、フェアではないのですよね。というのも、これに似たことを、私自身も何度もやらかしているからです。先に、その話を白状します。

「面談の時間、60分から30分に短くしておいて」。ある予約の案内で、そう直すことになりました。参加してくれる方の負担を、軽くしたかったのです。案内ページの「面談（60分）」という文字を「30分」に直して、はい完了。そのときの私は、そう思っていました。

後日、まったく別の作業をしていて、たまたま、予約後に自動で届く確認メッセージを開きました。そこに、しれっと「面談（60分）」と書いてありました。おかしいと思って調べたら、同じ「60分」が、案内ページ以外に、あと2箇所しっかり残っていました。予約後に自動で送られるメッセージと、確認メール。合わせて3箇所です。直したつもりで、6割方まだ直っていませんでした。ヒヤッとしました。

さきほどのAIの件を、私は他人事にはできないのですよね。ただ、正直に見比べると、この2つは「同じ失敗」ではありません。ここを雑に「一緒だ」とまとめると話がおかしくなるので、次の章でちゃんと分けます。

まず、この2つは、原因がはっきり違います。

AIのほうは、失敗した33件について、報告は「やりました」なのに、そのファイルには、足すはずのリンクが1件も反映されていませんでした。報告と実物が、まるごと食い違っていた、という失敗です。私のほうは、逆でした。頼まれた1箇所は、ちゃんと直しました。ただ、同じ「60分」が他に2箇所あるのに、それに気づかず「終わった」と思い込んだ。やることはやったけれど、探す範囲が足りなかった、という失敗です。

「報告したのに、まるごと反映されていない」のと、「やったけれど、一部を見落とす」のは、原因も、本来の対策も、別物です。ここを「同じだ」と雑にまとめると、話が濁ります。ですが、たったひとつだけ、どうしようもなく共通していることがあります。

原因の中身は違うのに、「実物と突き合わせる一手間を、間に挟まなかった」という一点だけは、AIも私も、まったく同じでした。逆に言うと、この一点にだけ効く対策を挟めば、種類の違う2つの失敗の、どちらにも効いてきます。これが、この記事でいちばんお伝えしたい急所です。

私の「2箇所見落とし」のほうには、もうひとつ理由がありました。ひとつの数字や決まり文句は、自分が思っているより「分身」している、ということです。

「面談60分」という情報ひとつ取っても、案内ページ、申し込みフォームの説明、予約後の自動メッセージ、確認メール、よくある質問の欄と、気づけば、いろいろな場所に同じことが書いてあります。しかも厄介なのが、作った本人ですら、どこに何箇所書いたか正確には覚えていない、ということです。少しずつ足していったものだから、全体像が頭に入っていない。だから「言われた1箇所を直して完了」だと、必ず取りこぼします。残った古い数字を見たお客様は、「結局どちらが本当なの」と混乱します。これは、地味に信頼を削ります。

AIに修正を頼むときも、この罠ははっきり出ます。AIは言われた1箇所を器用にサッと直して「直しました」と即答してきます。仕事が速いように見える。ですが、他の場所に同じ数字が残っていないかまでは、こちらが言わないかぎり、勝手には調べてくれません。しかも自信満々に「完了しました」と言われるぶん、こちらも余計に信じてしまうのですよね。

この2つの失敗から、私がはっきり思い知ったのは、危ないのは数字そのものではなく、実物や成果物と照合されていない自己申告を、そのまま信じてしまうこと、ということです。

数字がついていると、つい「ちゃんとやったのだな」と安心します。ですが、その数字が実物と突き合わされていなければ、数字つきであることは、正確さの保証には一切なりません。むしろ、数字がついているせいで疑いにくくなり、かえって危ないくらいです。これは、AIに限った話でもないと思っています。外注先でも、社内の誰かでも、数字つきで「終わりました」と報告されると、つい安心して、確認をサボりがちです。AIは、その人間の弱点を、もっと速く、もっと大量に、堂々とやってくる。それだけの違いです。

だから、対策の向き先は「数字を疑う」ではありません。「自己申告のまま完了にしない」です。次の章で、その具体的なやり方をお伝えします。

対策として、「次からは気をつけよう」「AIに嘘をつかないでねとお願いしよう」は、効きません。人もAIも、本人は嘘をついているつもりがないからです。お願いベースだと、また同じ報告が返ってきます。なので私たちは、気合いや注意ではなく、頼み方そのものと、確かめる仕組みを変えました。やっていることは、大きく2つ。さきほどの「別々の2つの失敗」に、ひとつずつ対応させています。

ひとつ目は、「見落とし」を潰す頼み方です。「直す前に、その数字が今どこに何箇所あるかを全文検索して一覧で出して。直したら、もう一度検索して、その結果もそのまま貼って」まで、ひとつづきで頼みます。全文検索とは、ひとつの画面の中だけでなく、フォルダや文書のまとまり全体から、同じ言葉を一気に洗い出す検索のことです。ざっくり「直しました」で終わらせず、検索結果の生の一覧を出させる。こうすると、「直したつもり」のフワッとした完了報告が、ぐっとしにくくなります。私が自分でやるときも、手順は同じです。

ふたつ目は、「報告したのに、まるごと反映されていない」を潰す仕組みです。AIの大量作業には、必ず機械照合をセットにします。さきほどの75件の件も、失敗した33件は、もう一段賢いAI（性能の高いモデル）に、やり直しを頼み直しました。あわせて「実物を確認できるまで、やりましたと言うの禁止」というルールも足しました。賢いAIに変えたのが効いたのか、ルールが効いたのか、そこはちゃんと切り分けられていないのですが、それ以来、空振りはゼロになりました。

ここで大事なのは、確認しているのがAI本人の自己申告ではなく、別の道具が、実物のファイルを機械的に数えている、という点です。AIに「ちゃんとやった」と聞き返しても、また「やりました」と返ってくるだけなので、確かめる役目は、本人とは切り離した別の仕組み（私自身か、AIとは別に動く自動処理）に持たせます。「完了報告イコール完了」ではなく、「別の仕組みの照合を通過して、はじめて完了」に変えた、ということです。

この「別の道具に確かめさせる」という考え方は、記事の作成そのものにも使っています。AIが書いた文章を、別のAIに読者役として読ませて点検させる工程です。くわしくは「AIの成果物を、AIにチェックさせている話」に書いています。

ここは、正直に線を引いておきます。この方法で、全部が防げるわけではありません。

この照合で分かるのは、あくまで「その言葉が入っているか」「古い言葉が残っていないか」までです。足したリンクの中身が本当に正しいか、置き場所が合っているかまでは、分かりません。そこは結局、人が目で見て確かめるしかありません。だから、「報告したのに反映されていない」タイプの取りこぼしには強いけれど、「やったけれど、中身が違う」は、また別の宿題として残ります。

もうひとつ、正直に足しておきます。AIが出してきた「検索結果」も、突き詰めれば自己申告の一種です。その気になれば、それらしい結果を作文することも、できてしまいます。だから私は、本当に大事なところでは、AIが見せた結果を鵜呑みにせず、自分でも同じ検索を一度かけて数えます。手間ですが、最後に信じるのは、AIの言葉ではなく、自分の目で見た実物のほうです。この記事で言いたいことが、まさにそれなので。

ここを「照合すれば完璧」と言い切ってしまうと、それこそ、この記事で戒めているはずの「照合していない安心」に、自分が逆戻りしてしまいます。防げる範囲を正直に区切っておくことが、この方法をちゃんと使うための条件だと思っています。AIの失敗には、他にもいくつかの型があります。原因ごとの整理は「AI導入の失敗事例と原因」に、同じ失敗を二度しないための記録の仕組みは「「学習ログ」という発明」にまとめています。

ここまで書いておいてなんですが、私自身、この「1箇所直して満足」も、「AIの完了報告を鵜呑み」も、何度もやらかしています。

今回の60分の件だって、たまたまメールを開かなかったら、古い数字のまま気づかず走り続けていました。75件の件も、面倒くさがって数え直さなかったら、4割が空っぽのまま「全部やった」ことになっていたはずです。だから、この「直す前・直したあとの検索」や「機械照合とセット」は、器用な人のためのテクニックというより、私のようにうっかりする人間のための、安全ベルトだと思っています。

もし、「ここ直して」を言われた1箇所だけ直して完了にしている心当たりがある方や、AIの「できました」をそのまま信じている方は、一度だけ、検索結果や実物と突き合わせる工程を挟んでみてください。地味ですが、これだけで、後からの「あ、ここにも残っていた」が、かなり減ります。AIに任せる範囲をどう決めるかについては「「AIに任せる/任せない」の線引きをどう決めているか」にも書いています。あわせて読んでいただけたら嬉しいです。

AIは、なぜやっていないのに「やりました」と報告するのですか。

悪意で嘘をついているというより、頼まれた範囲の外を見にいかない、という性質が主な原因です。一部だけを処理して「やったつもり」で完了する動きが、たくさんの作業を同時にさせたときに、まとめて起きます。受け取る側にとっては、悪気があるかどうかに関係なく、報告と実物が食い違っていること自体が問題になります。

AIに嘘をつかせないための、具体的な頼み方はありますか。

あります。「直して」で終わらせず、「直す前に、その言葉が今どこに何箇所あるかを全文検索して一覧で出して。直したあと、もう一度検索して、その結果も見せて」まで、ひとつづきで頼みます。検索結果を出させると、実物を確認しないままの完了報告が、そもそもできなくなります。大量の作業では、別の仕組みが実物を1件ずつ数え直すまで、完了としない形にします。

この方法で、AIのハルシネーション（もっともらしい嘘）は全部防げますか。

いいえ、全部は防げません。この照合で分かるのは「頼んだ作業が実行されているか」「古い言葉が残っていないか」までです。足した内容そのものが正しいか、置き場所が合っているかは、別に人が見て確かめます。「照合すれば完璧」と言い切ると、この記事で戒めている「照合していない安心」に、自分が逆戻りしてしまいます。

プログラミングの知識がなくても、この確認はできますか。

できます。パソコンやスマホの文書なら、フォルダ全体を対象にした検索機能で、同じ言葉が今どこに何箇所あるかを洗い出せます。エンジニアが使う「grep」も、やっていることは「決めた言葉がファイルの中にあるかを機械的に数える」だけで、考え方は同じです。大事なのは、直す前と直したあとの2回、必ず検索をはさむことです。