AIの答えは確かめてから使う。正しい心構えです。ただ、全部を確かめていては使う意味がなくなります。公式ヘルプを読むと、間違い方には型があると書かれていました。型が分かれば、確かめる場所を絞れます。
この記事では、OpenAIとMicrosoftの公式ヘルプに書かれている内容だけを並べ、検算の順番に整理します。内容は各公式ページで確認したものです。仕様は更新されるため、運用を決める前には原典で最新の記載をご確認ください。
結論：全部を疑わず、型ごとに疑う
先に結論を置きます。「AIの答えは全部確認しましょう」という助言は、正しいけれど実行できません。実務では、どこを確かめるかを決める必要があります。公式には間違い方の類型が具体的に書かれているので、それを使えば確認の範囲を絞れます。
公式は「第一稿として使う」と書いている
OpenAIの公式ヘルプには、責任ある使い方のヒントとしてこうあります。ChatGPTを最終的な出典ではなく、第一稿として使ってください。重要な情報は確認してください。そして、引用、データ、技術情報、外部文書への参照は、必ず検証してくださいと続きます。注目したいのは、確認すべき対象が4つに絞られている点です。全文ではありません。引用、データ、技術情報、外部文書への参照。この4つを見る、というだけで作業量がまったく変わります。
型は5つに整理できる
本記事では、公式の記載を5つの型に整理します。1つ目、捏造された出典。2つ目、自信のある誤り。3つ目、読めていないページ。4つ目、日付・時刻・場所。5つ目、単純化。どれも公式に明記されている内容です。型によって、確かめる手段が違います。出典ならリンクを開く、数字なら再計算する、といった具合です。以降の節で、それぞれの記載を引きながら見ていきます。
間違い方の型と、確かめる場所
5つ目の「単純化」が、いちばん見抜きにくい。
公式が挙げている3つの型
まず、公式がハルシネーションとして挙げている類型を確認します。3つ並んでいて、どれも実務で見たことのある形でした。名前が付いていると、遭遇したときに気づきやすくなります。まずは公式の列挙をそのまま引きます。
3つの型が列挙されている
OpenAIの公式ヘルプには、こう書かれています。この現象はしばしばハルシネーションと呼ばれます。モデルが事実として正確でない応答を生成することを指します。そして例が3つ挙げられています。不正確な定義、日付、または事実。捏造された引用、研究、引用文献、または存在しない出典への参照。曖昧または複雑な質問への、過度に自信のある回答。この3つは性質が違います。1つ目は事実の誤り、2つ目は存在しないものの生成、3つ目は確信度の問題。対処もそれぞれ違います。
いちばん危ないのは2つ目
実務でいちばん困るのが、捏造された引用、研究、引用文献、または存在しない出典への参照です。事実の誤りなら、調べれば違うと分かります。でも存在しない出典は、それらしい形式で出てくるので気づきにくい。著者名、年、タイトル、媒体名が揃っていると、確認せずに資料に載せてしまいます。そして載せたあとで、探しても見つからない。公式が引用と外部文書への参照を「必ず検証してください」と名指ししているのは、この型があるからだと読めます。
気づく手がかりは形式の整いすぎ
ここから先は実務の提案です。出典の形式が整いすぎているときは、いったん止まる。本物の出典は、媒体によって書式がばらつきます。すべてが同じ形で並んでいるときは、生成された可能性を考えたほうがいい。確かめ方は単純で、公式のヒントにあるとおりリンクを直接訪問してソースを確認することです。検索して同じ文言が見つかるか、ではなく、示されたページを開いて、そこに書いてあるかを見ます。存在しないページは、開けば分かります。
自信の高さは、正しさの根拠にならない
2つ目の型です。ここは、公式がわざわざ見出しを立てて書いている部分でした。読むと当たり前に思えますが、実際の判断では逆のことをしがちです。言い切られると信じてしまうのは、人の側の癖でもあるからだと思います。
明記されている一文
OpenAIの公式ヘルプは、モデルの限界を3つ挙げるなかで、こう書いています。Confidence isn’t reliability（自信は信頼性ではない）。モデルは、誤った回答に対しても高い自信を示すことがあります。冒頭の説明にも、ときには、間違っているときでも自信があるように聞こえることがありますとあります。つまり、断定の強さと正確さは無関係だと公式が言っています。文章が歯切れよく、迷いがない。そういう回答ほど、確認せずに通してしまいます。
説明の丁寧さも、根拠にならない
同じ趣旨が、Microsoftの公式FAQにも書かれています。Copilotは分析情報と数式を生成し、流暢で文法的に正しい言葉で説明しますが、内容が不正確または不適切である可能性があります。ここで効くのが流暢で文法的に正しい言葉で説明しますという部分です。説明が丁寧だと、内容も正しいと感じてしまう。でも、説明の質と結果の質は別の軸です。とくに数式や手順は、説明を読んで納得した時点で確認をやめがちです。読んで納得したかどうかは、検算の代わりになりません。
疑う合図を決めておく
対処として実務的なのは、自分が納得したときこそ確認すると決めておくことです。違和感があるときは、誰でも調べます。問題は、すんなり腑に落ちたときです。「なるほど」と思った箇所に印を付けて、あとでまとめて確認する。これなら作業として回ります。公式も、重要な情報は確認してくださいとしたうえで、確認すべき対象を引用・データ・技術情報・外部文書への参照に絞っています。納得した箇所が、この4つのどれかに当たるなら確認する。これで基準になります。
「調べて」と言っても、読めていないことがある
3つ目の型です。検索させれば正確になる、と考えがちですが、公式には取得できない場合があるとはっきり明記されていました。しかも、取得できない理由まで具体的に3つ挙げられていました。順に確認していきます。
取得できない3つの理由
公式ヘルプのモデルの限界の項に、こうあります。Lack of access（アクセスの欠如）。技術的な問題、ペイウォール、または robots.txt で設定された設定により、モデルが特定のウェブサイトから関連情報を取得できない場合があります。3つ挙げられています。技術的な問題、ペイウォール、そしてサイト側の設定です。つまり、URLを渡しても中身を読めていない可能性がある。それでも回答は返ってきます。読めなかったと明示されないまま、訓練データの知識で答えている場合があるということです。
検索が有効かを確認する方法
そもそも検索が動いているかを確かめる方法も書かれています。検索が有効かどうかを確認するには、ChatGPTで入力するときに入力バーの検索やディープリサーチのアイコンが有効になっているか、または応答でウェブのソースが引用されているかを確認します。2つの見分け方が示されています。入力前はアイコン、回答後は引用の有無。回答に出典のリンクが1つも付いていないなら、ウェブを見ていない可能性があります。調べた前提で読むか、知識で答えた前提で読むかは、まったく違います。
渡したページの内容を、要約させて確かめる
ここから先は実務の提案です。URLを渡して調べさせたとき、そのページに何が書いてあったかを先に要約させると、読めたかどうかが分かります。読めていなければ、一般論しか返ってきません。読めていれば、そのページ特有の固有名詞や数字が出てきます。固有の情報が出てくるかどうかが、判定の手がかりになります。公式のヒントにも、リンクを直接訪問してソースを確認するとあります。最終的には自分で開くのがいちばん早い場面も多い、ということです。
日付・時刻・場所は、名指しで注意されている
4つ目の型です。これは別のページに書かれていた注意で、具体性がとても高い内容でした。業務で予定や締切を扱うなら、知っておく価値があります。原因と、そのときの対処の方法まで、あわせて説明されていました。
3種類の質問が挙げられている
OpenAIの音声機能のヘルプに、こうあります。ChatGPTは間違えることがあります。重要な情報は確認してください。特に、日付に敏感な質問、時刻に敏感な質問、場所に敏感な質問では確認してください。わざわざ3種類を名指ししています。締切の計算、営業日の数え方、時差をまたぐ会議の時刻。業務で扱う場面が多いものばかりです。「重要な情報は確認してください」という一般的な注意のあとに、この3つが具体的に挙げられている点に意味があります。
原因はタイムゾーン
理由も書かれています。Voiceは「今日」や「明日」といった語を理解するために、デバイスまたはブラウザーのタイムゾーンを使用します。そして対処が続きます。回答がおかしいと感じたら、タイムゾーンを確認するか、正確な日付、タイムゾーン、場所を質問に含めてください。端末の設定が答えに影響するということです。出張先や、会社と個人で設定が違う端末を使っている場合、ずれる余地があります。「今日」と書かずに日付を書く。これだけで防げます。
相対的な言葉を使わない
実務の手順に落とすと、相対的な表現を絶対的な表現に置き換えることになります。「来週の月曜」ではなく日付を書く。「3営業日後」ではなく、起算日と祝日の扱いまで書く。「現地時間」ではなく、都市名とタイムゾーンを書く。公式が「正確な日付、タイムゾーン、場所を質問に含めてください」と案内しているのは、この意味です。手間は増えますが、計算の前提が揃うので結果が安定します。締切の計算をAIに任せるなら、ここは省略できません。
いちばん見抜きにくいのは、単純化
5つ目の型です。事実の誤りと違って、これは間違いだと指摘しにくい種類のものです。だからこそ、資料にそのまま載ってしまいます。公式には、起こりうる形が3つに分けて書かれていました。心当たりがある人も多いと思います。
3つの形が挙げられている
公式ヘルプのモデルの限界に、Bias and over-simplification（偏りと過度の単純化）という項目があります。場合によっては、次のことが起こりうるとされています。単一の視点を絶対的な真実として提示する。複雑または微妙な問題を単純化しすぎる。科学的合意や社会的議論の重みを誤って伝える。どれも、事実としては間違っていないのに、全体像が歪む種類の問題です。数字が違うわけではないので、検算では見つかりません。
資料で起きやすい場面
業務の資料でこれが起きやすいのは、比較と要約です。2つの手法を比べさせると、どちらかが明確に優れているように整理されることがあります。実際には条件によって変わるのに、断定的な結論が付く。要約でも同じで、賛否が分かれている論点が、片側の意見だけに整理されることがあります。前の節で見た「自信のある誤り」と組み合わさると、非常に説得力のある誤った資料ができあがります。説得力があるぶん、社内で通ってしまいます。
反対側を書かせて確かめる
ここから先は実務の提案です。単純化を疑うなら、反対側の主張を書かせるのが早い。「この結論に反対する立場なら、何を根拠に反論するか」と聞きます。しっかりした反論が返ってくるなら、元の結論は複数ある見方の1つだったということです。反論が弱いなら、そこそこ固い結論かもしれません。一度で判断せず、角度を変えてもう一度聞く。公式も批判的思考を促してくださいと書いています。手順として組み込むなら、この形が続けやすいと思います。
検算の順番を決める
最後に、ここまでを実際の手順に落とします。毎回すべてをやる必要はありません。資料の性質に応じて、どこまでやるかを先に決めておくのが現実的です。ここでは、実際に手を動かす3つの段階に分けて整理しておきます。
まず、4つの対象だけ抜き出す
1段階目です。公式が挙げている引用、データ、技術情報、外部文書への参照を、文章から抜き出します。全文を読み返すのではなく、この4種類だけを拾う。数字と固有名詞とリンクを探す作業だと思えば、機械的に進みます。抜き出した時点で、確認すべき量がはっきりします。意外と少ないことも多い。量が見えると、確認する気になります。漠然と「全部確認」と考えている間は、結局やらずに終わります。長い資料なら、抜き出したものを別の場所に箇条書きで並べておくと、そのまま確認の作業リストになります。
次に、型ごとに手段を変える
2段階目です。抜き出したものを、型に振り分けます。出典なら、リンクを直接開く。検索で似た文言を探すのではなく、示されたページを開きます。数字なら、自分で計算し直す。公式も、計算にはコードインタープリターやデータ分析のツールが使えると案内しています。日付や時刻なら、絶対的な表現で聞き直す。そして結論なら、反対側を書かせる。手段が決まっていると、目の前の1件にどう向き合うかで迷う時間がなくなります。振り分け自体は数秒で終わるので、作業の負荷はほとんど増えません。
使うツールを先に決めておく
3段階目は、そもそもの精度を上げる話です。公式は、正確さを高めうるツールを3つ挙げています。Search（現在の情報やニッチな情報をウェブから調べ、引用付きの回答を提供する）。Code interpreter・Data analysis（正確な計算、データの可視化、構造化されたロジックを可能にする）。Deep research（ウェブと内部知識にわたる複数ソースの引用付きの回答を提供する）。そして正確さが重要なときは、これらのツールを使い、リンクを直接訪問してソースを確認してくださいとあります。使うツールを先に決めてから聞く。あとで確認する量が変わります。
まとめ
AIの答えを全部確かめるのは現実的ではありません。公式には間違い方の型が書かれているので、そこから絞れます。OpenAIの公式ヘルプは、ハルシネーションの例として不正確な定義、日付、または事実、捏造された引用、研究、引用文献、または存在しない出典への参照、曖昧または複雑な質問への過度に自信のある回答の3つを挙げています。そしてConfidence isn’t reliability。モデルは、誤った回答に対しても高い自信を示すことがありますと明記しています。
調べさせたつもりで読めていない場合もあります。技術的な問題、ペイウォール、または robots.txt で設定された設定により、特定のウェブサイトから関連情報を取得できない場合がありますとされ、確認の方法として入力バーの検索やディープリサーチのアイコンが有効になっているか、または応答でウェブのソースが引用されているかが案内されています。また、日付に敏感な質問、時刻に敏感な質問、場所に敏感な質問は名指しで注意されており、原因としてデバイスまたはブラウザーのタイムゾーンを使用しますと説明されています。
いちばん見抜きにくいのがBias and over-simplificationで、単一の視点を絶対的な真実として提示する、複雑または微妙な問題を単純化しすぎる、科学的合意や社会的議論の重みを誤って伝えるという形が挙げられています。検算では見つからない種類です。確認するのは、引用、データ、技術情報、外部文書への参照の4つ。型ごとに手段を変える。これで、使える速さを保ったまま精度を上げられます。
よくある質問（FAQ）
どこまで確認すればよいですか
OpenAIの公式ヘルプには、ChatGPTを最終的な出典ではなく第一稿として使うこと、重要な情報は確認すること、そして引用、データ、技術情報、外部文書への参照は必ず検証すること、と書かれています。確認の対象がこの4つに絞られている点が手がかりになります。
自信を持って答えているのに間違っていました
公式ヘルプには、モデルの限界として「Confidence isn’t reliability」が挙げられ、モデルは誤った回答に対しても高い自信を示すことがある、と書かれています。冒頭にも、間違っているときでも自信があるように聞こえることがある、とあります。
URLを渡したのに、内容が反映されていないようです
公式ヘルプには、技術的な問題、ペイウォール、または robots.txt で設定された設定により、特定のウェブサイトから関連情報を取得できない場合がある、と書かれています。応答にウェブのソースが引用されているかを確認する方法も案内されています。
締切の計算を任せても大丈夫ですか
公式ヘルプには、特に日付に敏感な質問、時刻に敏感な質問、場所に敏感な質問では確認すること、と書かれています。原因としてデバイスまたはブラウザーのタイムゾーンを使用することが挙げられ、正確な日付、タイムゾーン、場所を質問に含めるよう案内されています。
数字は合っているのに、結論に違和感があります
公式ヘルプには、偏りと過度の単純化として、単一の視点を絶対的な真実として提示する、複雑または微妙な問題を単純化しすぎる、科学的合意や社会的議論の重みを誤って伝える、という形が挙げられています。数字の検算では見つからない種類の問題です。
精度を上げる方法はありますか
公式ヘルプには、事実の正確さを高めうるツールとして、Search、Code interpreter・Data analysis、Deep researchが挙げられています。正確さが重要なときはこれらのツールを使い、リンクを直接訪問してソースを確認するよう案内されています。
原典で記載を確認する
仕様と注意事項は更新されます。運用を決める前に、Does ChatGPT tell the truth?（OpenAI Help Center）で最新の記載をご確認ください。