ChatGPTはなぜ堂々と間違えるのか｜「嘘をつかせないプロンプト」の限界と、30秒で確かめる手順

---

「ChatGPT 嘘」で調べると、「嘘つく」「嘘ばかり」「嘘をつかせないプロンプト」が並びます。堂々と間違ったことを言われて、そのまま使ってしまった。そういう経験をした人が多いということです。この記事は、なぜそうなるのかを仕組みから説明したうえで、間違いを30秒で見つける手順をまとめたものです。

先に結論を3つ書いておきます。1つ目。これは嘘ではなく、文章を作る仕組みから来るずれです。だますつもりがないぶん、たちが悪いとも言えます。2つ目。「嘘をつかないで」と頼んでも、完全には防げません。OpenAI自身が「間違っていても自信があるように聞こえることがある」と書いています。3つ目。防ぐのではなく、確かめる手順を持つほうが確実です。30秒で終わります。

この記事の内容は、OpenAIの公式ヘルプ「ChatGPTは真実を伝えますか？」で確認した記述にもとづいています。

嘘ではなく、そういう仕組み

最初に、何が起きているのかをはっきりさせます。ここが分かると、どこを疑えばいいかが決まります。

公式が何と書いているか

OpenAIの公式ヘルプには、こう書かれています。「ChatGPTは、訓練に使用されたデータのパターンに基づいて有用な回答を提供するように設計されています。しかし、どの言語モデルと同様に、誤った出力や誤解を招く出力を生成することがあります。ときには、間違っていても自信があるように聞こえることがあります」。

この現象をハルシネーションと呼ぶ、と公式は説明しています。日本語では「幻覚」と訳されますが、ここでは「事実に合わない内容を、自信を持って書いてしまうこと」と理解しておけば十分です。意図してだましているわけではありません。ありそうな文章を組み立てた結果、たまたま事実と合わなかった、という状態です。

どんな形で出てくるか

公式ヘルプは、具体例を3つ挙げています。誤った定義、日付、事実。捏造された引用、研究、出典、または存在しない情報源への参照。あいまいまたは複雑な質問に対する過度に自信のある回答。

2つ目が特に厄介です。存在しない出典を、それらしい形で書いてくるということです。「◯◯省の調査によると」「△△という論文では」と書かれていると、つい信じてしまいます。しかし、その調査も論文も存在しないことがあります。後半で、これを見抜く手順を書きます。

限界として公式が挙げている4つ

同じページには、モデルの制限として4つが挙げられています。知識の期限（特定の時点までのデータで訓練されており、ツールを使わない限りそれ以降の出来事は反映されない）。自信は信頼性ではありません（誤った回答でも強い自信を示すことがある）。アクセス不足（技術的な問題やペイウォールなどで特定のサイトから情報を取得できない場合がある）。バイアスと過度の単純化（単一の視点を絶対的な真実として提示する、複雑な問題を単純化しすぎる）。

2つ目の「自信は信頼性ではありません」は、そのまま覚えておいてください。断定的に書かれているほど正しい、ということはありません。むしろ、言い切っている部分ほど確認が要ります。

「嘘をつかせないプロンプト」は効くのか

検索候補に「嘘をつかせないプロンプト」が並びます。結論から書きます。

効果はあるが、完全ではない

「分からないことは分からないと答えてください」「事実に基づいて答えてください」。こうした一文を足すこと自体は、悪くありません。実際、断定を減らす効果はあります。ただし、これで間違いがゼロになるわけではありません。

理由は単純で、AIは「自分が間違っている」と認識したうえで書いているわけではないからです。間違っていることに気づいていないので、「間違えないで」と言われても、そのとおりに書いているつもりなのです。公式が「間違っていても自信があるように聞こえる」と書いているのは、まさにこの状態です。

それでも入れる価値がある一文

完全には防げませんが、間違いを見つけやすくする指定はできます。次の一文を、事実を聞くときの言葉の末尾に付けてください。

「確実でない部分には『未確認』と付けてください。出典があるものは、公式サイトの名称も書いてください。分からないことは、推測で埋めずに『分かりません』と書いてください。」

効果は2つあります。「未確認」が付いた箇所は、優先して確かめればよいと分かること。そして、出典の名称を書かせることで、あとで検索して存在を確かめられることです。防ぐのではなく、確認の効率を上げるための指定だと考えてください。

やってはいけない使い方

逆に、これを入れたから安心、と考えるのが一番危ない状態です。「嘘をつかないでと書いたから、この答えは正しいはず」。この思い込みが、確認を省く理由になります。

プロンプトは、AIの出力を整えるためのものであって、事実を保証するものではありません。公式ヘルプ自身が、「ChatGPTは最終的な情報源ではなく、初稿として使ってください」と書いています。初稿である以上、誰かが確認する工程が要ります。その誰かは、あなたです。

間違いが起きやすい4つの場面

毎回すべてを疑っていたら疲れます。どこで起きやすいかを知って、そこだけ見てください。

1. 新しい出来事

公式が挙げている「知識の期限」がここに当たります。モデルは特定の時点までのデータで訓練されているので、それ以降の出来事は、検索ツールを使わない限り反映されません。料金の改定、制度の変更、新しいサービスの開始。「最近」の話は、まず疑ってください。

この記事で扱っているAIの料金や機能も同じです。だからこの媒体では、毎回「2026年◯月◯日時点」と確認日を書いています。AIに聞いた料金をそのまま信じず、公式の料金ページを開いてください。

2. 数字が出てくるところ

金額、日付、人数、割合、順位。数字は、文章の流れの中で「それらしい値」に置き換わりやすい部分です。桁が1つ違う、年が1年ずれている、という形で混ざります。

やっかいなのは、数字が入っていると文章全体が正確に見えることです。「約3割」より「32.7%」のほうが信頼できそうに感じます。しかし、細かい数字ほど出どころの確認が必要です。数字だけは、必ず人の目で確かめてください。

計算をさせた場合も同じです。足し算や割合の計算で、途中がずれることがあります。金額の合計、税込みの価格、割引後の金額。自分で電卓を叩けば10秒で確かめられるものは、確かめてください。「計算も合っているはず」と思い込むところに、間違いは残ります。

3. 固有名詞と出典

人名、会社名、法律の名称、論文のタイトル。ここは、存在しないものが作られることがある領域です。公式ヘルプも「捏造された引用、研究、出典、または存在しない情報源への参照」を具体例に挙げています。

見分け方は後半に書きますが、原則を先に言うと、出典が示されたら、その出典自体を検索してください。出てこないなら、その情報は使わない。これだけで、この種の間違いはほぼ防げます。

人名も同じです。実在する人の経歴が、事実と違う形で書かれることがあります。生年、所属、著書。本人や所属先の公式ページで確認できないものは、書かないでください。他人について事実と違うことを広めると、こちらの責任になります。

4. 自分が答えを知らない領域

いちばん危ないのが、ここです。自分に知識がある分野なら、間違いに気づけます。しかし、知らない分野だからこそAIに聞いているわけで、そこでは間違いに気づく手がかりがありません。

医療、法律、税金、資格の要件、行政の手続き。こうした分野は、答えを受け取るのではなく、質問リストを作ってもらって専門家に聞きに行く使い方に切り替えてください。この線引きは、この媒体で毎回書いていることです。整理はAI、判断は人。

確かめる手順（30秒）

ここからが実作業です。全部読み返す必要はありません。3ステップで終わります。

ステップ1：数字と固有名詞に印をつける

返ってきた文章を、上から一度なぞります。読むのではなく、数字と固有名詞だけを拾うつもりで見てください。金額、日付、法律の名前、機関名、製品名。これが確認の対象です。

それ以外の部分、つまり文章の言い回しや構成は、確認しなくて構いません。AIが得意なのはそこだからです。疑う場所を絞ることで、確認が現実的な作業になります。

スマホなら、画面を指でなぞりながら拾うと早いです。長い答えでも、数字と固有名詞は思ったより少ないはずです。5個も見つからないことがほとんどで、その5個だけが確認の対象になります。全文を読み返すのとは、かかる時間がまったく違います。

ステップ2：出どころを聞き返す

印をつけたものについて、そのまま続けて聞きます。会話を続けるだけなので、新しく打ち直す必要はありません。

「いま書いてくれた内容のうち、数字と固有名詞について、それぞれの出どころを教えてください。公式サイトや公的機関の資料があれば、その名称を書いてください。出どころが確かでないものは『不明』と書いてください。」

ここで「不明」と返ってきたものは、その時点で使わない判断ができます。名称が返ってきたものは、次のステップに進みます。この1往復を挟むだけで、危ない箇所がかなり絞り込めます。

ステップ3：名称をそのまま検索する

返ってきた出典の名称を、検索窓にそのまま入れます。法律名なら法令のページ、統計なら公表元のページ、製品なら公式サイトが出てくるはずです。

ここで出てこない、あるいは出てきたページに書いていない場合、その情報は使いません。これが最終的な判定です。手間に見えますが、検索して1ページ開くだけなので、実際には30秒ほどで終わります。そして、この30秒を惜しんで間違った情報を人に伝えると、信用が減ります。

検索が使われているか見分ける

最近のChatGPTは、ウェブを検索して答えることがあります。検索した答えと、記憶から書いた答えでは、信頼度が違います。

見分け方

公式ヘルプには、確認方法が書かれています。「ChatGPTで入力する際に入力バーで検索やdeep researchのアイコンが有効になっているか、回答でウェブ上のソースが引用されているかを確認してください」。

つまり、答えの中にリンクや出典が付いていれば、検索されている可能性が高い。何も付いていなければ、訓練データから書いている可能性が高い、ということです。後者のほうが、確認の必要度は上がります。

検索されていても、確認は要る

ただし、検索が使われていれば安心というわけでもありません。公式が挙げている制限に「アクセス不足」があります。技術的な問題、ペイウォール、サイト側の設定によって、必要な情報を取得できない場合がある、と書かれています。

取得できなかった部分を、モデルが記憶から補っている可能性があります。リンクが付いていたら、そのリンクを実際に開いて、書いてある内容と合っているかを見てください。リンクが付いていることと、そこにそう書いてあることは別です。

正確さが必要なときは、先に指定する

最初から正確さが必要だと分かっている場合は、聞くときに指定しておくと早いです。公式ヘルプも、正確性が重要な場合は検索などのツールを使い、リンクに直接アクセスしてソースを確認するよう案内しています。

「この質問には、ウェブを検索して最新の情報で答えてください。答えには、参照した公式ページのリンクを必ず付けてください。検索して見つからなかった部分は、推測で書かずに『見つかりませんでした』と書いてください。」

確かめなくていいこと、必ず確かめること

最後に、力の入れどころを整理します。全部疑っていたら、AIを使う意味がなくなります。

確かめなくていいこと

文章を短くしてもらったとき。元の文章が手元にあるので、読めば分かります。言い換えてもらったとき。同上です。構成や見出しを作ってもらったとき。中身は自分で埋めるので、事実の問題は起きません。質問リストを作ってもらったとき。質問に事実誤認は含まれません。

この4つが、この媒体で毎回すすめている使い方と一致しているのは偶然ではありません。自分が持っている材料を渡して整えてもらう使い方は、そもそも間違いが起きにくいのです。初心者ほど、この使い方から始めてください。

必ず確かめること

人に伝える情報。仕事で使う情報。お金が動く情報。健康と法律に関わる情報。この4つは、例外なく確認してください。「AIがそう言っていた」は、説明になりません。伝えた時点で、あなたの発言になります。

特に、SNSに投稿する、社内で共有する、家族に教える。この3つの場面では、確認を省かないでください。間違った情報を広げた側になると、あとで訂正するほうが何倍も手間がかかります。

親世代に教えるときは、もうひと手間かけてください。「AIはときどき間違える」という前提を先に伝えておかないと、画面に出た文章をそのまま信じてしまうことがあります。使い方を教えるより先に、確かめる習慣を一緒に作るほうが大事です。

それでも、使わない理由にはならない

ここまで読むと「やっぱりAIは信用できない」と思われるかもしれません。そうではありません。公式が限界を明記していること自体が、扱い方の指針になっていると考えてください。どこが弱いかが分かっているなら、そこだけ人が見ればよいのです。

自動車にブレーキがあるのと同じです。止まれないから乗らない、ではなく、止まり方を知っていれば使える。AIも、確かめる手順を持っていれば、十分に実用になります。怖がって使わないより、疑い方を覚えて使うほうが、得られるものは多いです。

まとめ

ChatGPTが事実と違うことを書くのは、嘘をついているのではなく、ありそうな文章を組み立てる仕組みから来るずれです。OpenAI自身が「間違っていても自信があるように聞こえることがある」「自信は信頼性ではありません」と明記しています。

だから、「嘘をつかないで」と頼んでも完全には防げません。防ぐのではなく、確かめる手順を持つほうが確実です。返ってきた文章から数字と固有名詞だけを拾い、出どころを聞き返し、返ってきた名称をそのまま検索する。この3ステップで30秒です。

そして、疑う場所を絞ってください。最近の出来事、数字、出典、自分が知らない分野。この4つだけです。文章を短くしてもらった、言い換えてもらった、構成を作ってもらった、質問リストを作ってもらった。こういう使い方では、そもそも間違いが起きにくい。初心者のうちは、この安全な使い方から始めるのが近道です。

最後に、公式自身の言い方を2つ挙げておきます。「どの言語モデルと同様に、誤った出力や誤解を招く出力を生成することがあります。ときには、間違っていても自信があるように聞こえることがあります」と書かれています。間違っていても自信があるように聞こえる、と公式が認めています。だから、言い方の強さは手がかりになりません。はっきり答えたから正しい、ということはない、ということです。この一文を覚えておくだけで、確かめる習慣がつきます。

そして、使い方そのものについての一文です。「ChatGPTは最終的な情報源ではなく、初稿として使ってください」とのことです。初稿として、と書かれています。つまり、出てきたものは下書きで、確かめて直すところまでが使う人の仕事だという前提です。公式が避けるべき使い方として「捏造された引用、研究、出典、または存在しない情報源への参照」を挙げているのも同じ理由です。出典を書かせたときは、必ずその出典を自分で開いてください。存在しないものが並ぶことがあります。これは言い方では防げません。

確かめるかどうかの線は、1つだけ決めておけば足ります。人に見せるもの、お金が動くもの、期限があるもの。この3つに当たるなら確かめる。当たらないなら、そのまま使ってかまいません。献立のアイデアや、言い換えの候補をいちいち確かめる必要はありません。全部疑うと続かないので、3つだけ覚えてください。

よくある質問（FAQ）

ChatGPTは嘘をつくのですか？

だますつもりで嘘をついているわけではありません。訓練したデータのパターンから、ありそうな文章を組み立てた結果、事実と合わないことがあります。OpenAIの公式ヘルプも「どの言語モデルと同様に、誤った出力や誤解を招く出力を生成することがあります。ときには、間違っていても自信があるように聞こえることがあります」と書いています。この現象をハルシネーションと呼びます。

「嘘をつかないで」と書けば防げますか？

完全には防げません。AIは自分が間違っていると認識したうえで書いているわけではないので、そのとおりに書いているつもりなのです。ただし「確実でない部分には『未確認』と付けてください」「出典があれば公式サイトの名称も書いてください」といった指定は有効です。防ぐためではなく、確認する場所を絞り込むための指定だと考えてください。

どこを確かめればいいですか？

4つです。最近の出来事（料金の改定、制度の変更など）。数字（金額、日付、人数、割合）。出典と固有名詞（法律名、機関名、論文のタイトル）。そして、自分が答えを知らない分野。逆に、文章を短くしてもらった、言い換えてもらった、構成を作ってもらった場合は、確認しなくて構いません。

出典が書いてあれば信用していいですか？

その出典自体を検索して、存在を確かめてください。公式ヘルプは、ハルシネーションの具体例として「捏造された引用、研究、出典、または存在しない情報源への参照」を挙げています。存在しない調査や論文が、それらしい形で書かれることがあります。名称で検索して出てこない、あるいは出てきたページに書いていない場合は、その情報は使わないでください。

ウェブを検索して答えているかは、どう分かりますか？

公式ヘルプによると、入力バーで検索やdeep researchのアイコンが有効になっているか、回答でウェブ上のソースが引用されているかで確認できます。ただし、検索されていれば安心というわけでもありません。ペイウォールやサイト側の設定で情報を取得できない場合があり、その部分を記憶から補っている可能性があります。リンクが付いていたら、実際に開いて内容を確かめてください。

結局、AIは使わないほうがいいのでしょうか？

そうではありません。どこが弱いかが公式に明記されているので、そこだけ人が見ればよい、という話です。むしろ、文章を整える、言い換える、構成を作る、質問リストを作るといった使い方では、事実の問題はほとんど起きません。確かめる手順を持ったうえで使えば、十分に実用になります。