どのAIが一番いいかを社内テストで決めようとしている会社は多いと思います。私も同じことをしていました。いまはやめています。
AiWiLL株式会社代表。AI顧問「WiLLAGENT」で、企業の仕事をAIと人が進められる形にする伴走支援を行っています。記事では、実務で使える手順と、人が確認すべき点を明らかにします。
比べて一つに絞っても、そのAIが出してきたものが正しいかどうかは、別の問題として残るからです。しかもその「正しくない」は、たいていエラーになりません。処理は成功し、形も整っている。なのに中身が足りない。
いま自社でやっているのは、比較ではなく検算です。作らせたAIとは別のAIに、出来上がったものをレビューさせています。これが、思っていたよりよく効きます。
比較テストが答えを出せない理由
同じ仕事を三つのAIに投げて、出力を採点する。この方法自体は間違っていません。ただ、答えが出るのは「今回のこの一問で、どれが良かったか」までです。
明日の仕事は違う問題です。渡す資料も違えば、求める形も違う。私自身、経営の壁打ち、制作、日々の情報整理で、手が伸びるツールが変わります（この使い分けは3つのCLIを使い分けている理由に書きました）。
そして一番の問題は、比較テストが「選ぶ」ところで終わることです。選んだあと、そのAIが毎日出してくるものを誰が確かめるのか。そこは空白のままになります。
自社でやっている二つの確認
順番に性格が違います。
一つ目は、成果物が置かれている側を見にいくこと。 作った側の報告ではなく、実物のある場所を数えます。これはAIに頼めます。「YouTubeに上がっている動画が重複していないか、YouTube側を見て確認して」と頼んだところ、「なぜかこの動画が2つ重複しています」と返ってきました。作業ログのどこにも異常はありませんでした。
二つ目は、作らせたAIとは別のAIにレビューさせること。 上がってきたファイルを指定して、「レビューして」と言うだけです。役は固定せず、入れ替えています。Claude Codeで作ったらCodexに見せ、Codexで作ったらClaudeに見せる。
実際に返ってきた指摘
三つの型に分かれました。
| 指摘の型 | 実例 | エラーになるか |
|---|---|---|
| 実物との食い違い | 動画が2本重複している | ならない |
| 書き漏らし | 顧問先でやった点検報告書の事例が、記事に入っていない | ならない |
| 基準からのズレ | 記事のトンマナが他の記事とそろっていない | ならない |
どれも、処理としては完全に成功している出力です。だから機械のチェックには引っかかりません。人が読んで初めて分かる種類の欠陥で、しかも量が増えるほど人が全部は読めなくなる。ここに一段挟まると効きます。
二つ目の「点検報告書の事例が抜けている」は、私が特に助かった指摘でした。自社で実際にやった仕事なのに、記事を書いたときに頭から抜けていた。言われて初めて気づいています。
効く条件は、レビュー役が会社の資料を読めること
ここが肝心です。記事のファイルを1枚だけ渡しても、「事例が抜けている」という指摘は絶対に返ってきません。 何が抜けているかを判断する材料が、そのAIの側に無いからです。
自社では、仕事の資料をGitHubに置いています。だからレビュー役のAIも、記事のファイルと同じ場所にある顧客の作業記録や過去の事例を読める状態になっています。「この記事に、御社が実際にやった別の事例が入っていません」と言えるのは、そのためです。
置き場所の作り方はコンテキストを社内で共有する方法に、実際の2層構成を書いています。
モデルの違いだけで検算が効くわけではない、というのがここでの結論です。別のAIであることと、会社の在庫を読めることの両方がそろって、初めて抜けが見つかります。
この運用の限界
私の範囲では、的外れな指摘はあまり出ていません。それでも、レビューを通したこと自体を「確認済み」の証拠にはしていません。レビューは一段目で、最後は自分で実物を見ます。
比較テストをするなという話でもありません。導入前にどれを買うか決めるなら、比較は要ります。ここで書いたのは、決めたあと毎日出てくるものをどう確かめるか、という別の問題への答えです。
同じ「エラーにならない失敗」の実例は、AIが書いたPowerShellが文字化けした件に書きました。「完了」と表示されたのに、21本の動画が1本も上がっていなかった話です。
この記事の範囲
2026年9月9日の赤堀亘への取材をもとに構成しています。自社（AiWiLL）での運用記録であり、モデルごとの性能を同条件で測った比較ではありません。レビューの効果を件数や時間で計測したデータもありません。読み取れるのは、どういう種類の欠陥がこの運用で見つかったか、という点までです。
他社の資料をAIに読ませる場合は、顧客情報の取り扱い範囲を先に決めてください。自社では、顧客ごとに読ませる範囲を分けています。
伴走型AI顧問 WiLLAGENT
初月10万円で、AI顧問、使い放題。
月2回・隔週90分の定例枠で、AI社員の開発・改善、社員研修、導入設計・戦略、会社訪問を、御社の仕事に合わせて選べます。定例の間もチャットで相談できます。
初月10万円、翌月から月30万円。最低3か月・総額70万円（いずれも税別）。訪問の交通費、AIツール利用料は別途実費です。
AI顧問の内容と料金を見る
