AIに「これ合ってる？」と聞くのは、確認になっていません｜総務省の教材が示す確かめ方

AIに下書きを作らせる。要約させる。調べものをさせる。ここまでは、もうふつうのことになりました。

問題はそのあとです。出てきた答えが正しいかどうか、どうやって確かめているでしょうか。

いちばんよく見るのは、AIにそのまま聞き返す方法です。「これ、合ってる？」「出典を教えて」。手間がかからないので、つい選んでしまうのではないでしょうか。

ところが、総務省が公開している教材には、それは適切ではないとはっきり書かれています。

この記事では、総務省「生成AIの入門的な使い方と注意点」を読んで、なぜ間違いが起きるのか、どう確かめればいいのかを整理します。

AIに「これ合ってる？」と聞くのは、確認になっていません

先に結論から。

総務省の教材には理解度チェックの問題があり、その解説にこう書かれています。

この選択肢は、不正解として示されています。

理屈としては当たり前の話です。間違えるかもしれない相手に「あなたの言ったこと、合ってる？」と聞いても、その答えもまた間違えるかもしれない。けれど、実際にやってしまう人は多いはずです。わたしもやります。

同じ設問で正解とされているのは、次の3つでした。

• 人は信じたいものを選び、無意識のうちに合理的ではない行動、偏った判断をすることがあるという意識をもつ
• 「情報源があるか？」「その分野の専門家の発信か？」といった確認をする
• 安易に拡散しない。拡散したいときはひと呼吸おく

どれも、AIの外に出るという点で共通しています。確認は、AIと自分の間で完結しません。

なぜ間違えるのか。総務省が挙げる4つの原因

同じ教材が、偽情報・誤情報が増える原因を、生成AIの特性として4つ挙げています。

いちばん下の一文が重いところです。学習したデータが正確でも、出てくる答えが正しいとは限らない。 つまり、良いデータを使っているサービスを選べば解決する、という種類の問題ではありません。

ついでに言葉の整理も載っています。偽情報は「意図的／意識的に作られたウソ」「虚偽の情報」、誤情報は「勘違い／誤解により拡散した間違い情報」。悪意があるかどうかで呼び分けられています。

AIが出すものの多くは後者です。嘘をついてやろうと思っているわけではない。だからこそ、文章としては自然に読めてしまうわけです。

どんな間違い方をするのか

教材には、実際に生成させた例が2つ載っていました。

ひとつめ。「西日本で最も高い山のTOP10を教えてください」

出てきたリストの課題として、こう書かれています。

• 実在しない山の名前が含まれる
• 標高が不正確

ふたつめ。ある駅の周辺で、平日ランチの和食の店を5つ挙げさせた例です。

教材では駅名と金額が伏せられていますが、指示には「予算は1人あたり◯◯円以内」「駅から徒歩5分以内」という条件が付けられていました。

• 存在しないお店が含まれる
• お店の場所が全く違う
• 予算を大幅超過

どちらも、言われてみれば確かめようのある話です。山の名前も、店の存在も、調べれば分かる。問題は、出力が自然すぎて確かめる気にならないことのほうです。

リストが10件きれいに並んでいると、そのうち2件が実在しないとは思いません。条件を3つ指定したのだから条件は満たしているだろう、とも思ってしまいます。実際には予算を大幅に超えていた、というのがこの例です。

条件を細かく指定したときほど確かめる。これは覚えておく価値があります。指定した条件の数だけ、守られていない可能性のある箇所が増えるからです。

見た目で見分けるのは、もう無理です

画像の話です。教材の応用問題に、SNSの投稿を題材にしたものがあります。

「A駅付近でライオンを目撃しました。どうやらB動物園から脱走したようです。避難指示が出ています。拡散希望」という、画像つきの投稿。避けるべき対応はどれか、という設問です。

選択肢のひとつが「画像に違和感がないか確認し、本物だろうと判断したので、家族に避難を呼びかける」。これも避けるべき対応とされていて、解説はこうです。

疑うところまでは正しい。でも、見分けようとした時点で方法が間違っている。 正解は、自治体や動物園の公式サイトを見ることでした。

これは実際に起きたことでもあります。教材は、2022年9月に台風15号の水害被害として静岡県の画像がSNSで拡散し、その後に投稿者が画像生成AIで作成した偽画像だったと公表した件に触れています。

なお、この応用問題について教材の末尾に注意書きがありました。「今回の問題のSNS文章と写真は全て生成AIで作成」。教材そのものが、実演を兼ねているわけです。

国の教材が挙げる3つのポイント

偽・誤情報に騙されない、拡散しないために常に意識するものとして、教材は3つを挙げます。

ポイント1。人は信じたいものを選ぶ（認知バイアス）ので、無意識のうちに合理的ではない行動、偏った判断をすることがあるという意識をもつ。

教材は、共感・拡散されやすい要素として「意外性」「願望・希望」「人に言いたくなる情報」「その人の正義感に訴えるもの」「誰も知らない」といった切り口を挙げています。「これは出回っていない情報です！」「こんなこと許せません！」「大切な人に共有してください！」といった言い回しです。

ポイント2。チェックリストを用いて真偽を判断する。

基本と応用の2段構えです。

ポイント3。それでも騙される可能性がある。安易に拡散しない／拡散したいときはひと呼吸おく。

安易に拡散しないものとして、「わからないもの」「誰かを傷つけるもの」「医療・健康情報」の3つが挙げられています。どうしても拡散したいときは「拡散する前にひと呼吸」「手を止めて『間違いでは??』と考える」「異なる情報が出ていないかチェック」。

ポイント3がわざわざ置かれているのは、チェックリストを使っても騙されるからです。教材は「チェックリストを用いて判断しても騙されるので、安易に拡散しない」と書いています。

確かめた、の度合い

ここまでを、確からしさの軸にしてみます。

提出する前、公開する前にやること

ここが実務です。具体的に書きます。

チェックリストをそのまま全部やると、AIを使った意味がなくなります。全部を確かめるのではなく、確かめる場所を絞るのが現実的です。

確かめる場所を絞る4つの目印

AIの出力の中で、この4つだけは必ず外に出て確かめると決めておきます。

逆に言うと、文章のつなぎ方や要約の構成は、そこまで神経質にならなくていい部分です。AIが得意なのはそちらで、事故が起きるのは上の4つのほうです。

確かめ方の順番

目印が見つかったら、次の順で当たります。上から順に、見つかった時点で止めて構いません。

1. 発表した本人の資料。会社の製品なら公式サイト、統計なら省庁のページ、法律なら条文そのもの。これが見つかればそこで終わりです
2. その分野の専門家の発信。本人が無理なら、業界団体や学会など
3. 他では何と言われているか。ここで食い違いが出たら、1に戻ります

ひとつ注意があります。3番目を「複数のサイトが同じことを言っているから正しい」と使わないでください。 同じ元ネタを写し合っているだけのことがあります。数ではなく、出どころをたどるのが目的です。

固有名詞と数字の、実際の当たり方

• 店名・会社名：名前で検索して公式サイトか地図に実在するかを見ます。レビューサイトだけで確認したことにしない
• 統計の数字：「◯◯によると△％」と書かれていたら、その◯◯のサイトで元の資料を探します。見つからなければその数字ごと落とす
• 法律：e-Gov法令検索で条文を開きます。条番号まで合っているかを見ます
• 製品の仕様・価格：メーカーの公式ページ。価格は変わるので、書くなら時点を添えます

見つからなかったときの扱いが大事です。裏が取れなかったものは、書かない。 「たぶん合っているだろう」で残した一文が、あとで効いてきます。

それでも分からないときは、そのまま出さない

締切が近いと、確かめきれないまま出したくなります。そういうときは、その部分を落とすか、断定をやめるのが安全です。

「◯◯社の売上は△億円です」が確かめられないなら、その一文を消す。消せないなら「◯◯社の売上については、公表資料を確認できませんでした」と書く。確かめていないことを、確かめたように書かないのが要点です。

間違いを広げた側が負うもの

受け取る側の話だけではありません。教材は、発信者としてのリスクも挙げています。

「気づかずに」でも責任の話になる、と書かれているところがポイントです。悪意がなかったことは、広げてしまった事実を消しません。

仕事で使う場面に置き換えると、AIに作らせた資料の数字が間違っていて、それが社外に出た場合、説明する立場になるのは作った人です。「AIが言っていた」は通りません。

残りの3つの注意点は、別の記事にあります

この教材は、生成AIを使ううえでの注意点を4つ挙げています。この記事で扱ったのは、そのうちの情報の正確性です。残る3つについては、それぞれ別に書いています。

モラルについてだけ、ここで触れておきます。教材が挙げているのは次の3つでした。

• 本来自分が行うべきことまで生成AI任せにしない
• 生成AIが作った偏見のある回答を使用しない
• 生成AIを非倫理的な行為や犯罪に悪用しない

2つ目について、教材に具体例があります。画像生成AIで「Various nurses」と指示したら女性ばかりが出力され、人種にも偏りが出た。「国会議員」と指示したら男性ばかりが出力され、やはり人種にも偏りが出た、というものです。教材は「現在では、生成AIサービス側の改善が進んでいる」とも添えています。

出力をそのまま使うと、自分が意図していない偏りを配ってしまうことがある。 人物のイメージを作らせるときは、ここも見る場所になります。

今日からできること

3つあります。

ひとつめ、1分。「AIに聞き返す」をやめる。

「これ合ってる？」「出典を教えて」とAIに聞くのは、確認になっていません。総務省の教材では不適切な対応として挙げられています。出典を聞いた場合、その出典自体が実在しないことがあります。出典を聞いたら、その出典を開くところまでをセットにしてください。

ふたつめ、3分。確かめる場所を4つに絞ると決める。

固有名詞、数字、自分が指定した条件、言い切っている部分。この4つだけを外に出て確かめます。全部を確かめようとすると続かないので、場所を絞って必ずやるほうが現実的です。

みっつめ、5分。出す前に「落とす」判断をする練習をする。

裏が取れなかった一文を消す。これがいちばん難しく、いちばん効きます。消したくないときは断定をやめて「確認できませんでした」と書く。確かめていないことを確かめたように書かない。この一線だけ守れば、大きな事故はほぼ防げます。

まとめ

AIの答えが正しいかをAI自身に聞くのは、確認になっていません。総務省の教材は、理解度チェックの解説で「生成AIが偽・誤情報を回答する恐れがあることから、生成AIに真偽を問うことは適切ではない」と書いていました。

なぜ間違えるのかについて、教材は4つの原因を挙げています。もっともらしいものを簡単に作れること、学習データが不正確・偏向的な可能性、裏付けのない回答をする場合があること、そして正確なデータを学習しても出力が正しいとは限らないこと。

実際の例として、実在しない山の名前、不正確な標高、存在しない店、指定した予算の大幅超過が挙げられていました。

画像については、見分けようとすること自体が、方法として間違っているのだそうです。教材は「合成画像を見分けるのは非常に困難」としたうえで、まずは公式情報を確認すべきだとしています。

確かめるときは、固有名詞・数字・自分が指定した条件・言い切っている部分の4つに絞り、発表した本人の資料から順に当たる。見つからなければ、その部分を落とす。

そして、気づかずに広げた場合でも発信者としての責任の話になります。「AIが言っていた」は、説明になりません。

よくある質問（FAQ）

Q1. AIの答えが正しいか、AIに聞き返すのはだめですか？

確認にはなっていません。総務省の教材「生成AIの入門的な使い方と注意点」の理解度チェックでは「生成AIに、この情報が正しいか質問する」が不正解の選択肢として示されており、解説に「生成AIが偽・誤情報を回答する恐れがあることから、生成AIに真偽を問うことは適切ではない」と書かれています。間違えるかもしれない相手に確認を求めても、その答えも間違えるかもしれないからです。同じ設問で正解とされているのは、認知バイアスを意識すること、情報源や専門家かどうかを確認すること、安易に拡散しないことの3つで、いずれもAIの外で行うものです。

Q2. 出典を教えてと頼めば大丈夫ではないですか？

出典を聞くこと自体は悪くありませんが、それだけでは確認になりません。出典として示された資料やページが実在しないことがあるためです。総務省の教材も、生成AIの特性として「裏付けのない回答をする場合がある」ことを偽・誤情報が増える原因に挙げています。出典を聞いたら、その出典を実際に開いて、引用された内容がそこに書かれているかまで見てください。開けない、見つからない場合は、その情報を使わない判断が安全です。

Q3. 性能のいい有料プランを使えば、間違いは減りますか？

減る面はあるかもしれませんが、確認が不要になるという話ではありません。総務省の教材が挙げる4つの原因のうち最後の一つは「正確なデータを学習したとしても、出力される情報が正しくない可能性があるため」です。学習データが正確であることと、出力が正しいことは別だと示されています。つまり、良いデータを使うサービスを選べば解決する種類の問題ではありません。どのサービスを使っていても、固有名詞や数字は外に出て確かめる前提で使うことになります。

Q4. どこを重点的に確かめればいいですか？

4つに絞るのが現実的です。固有名詞（店名・会社名・製品名・人名・地名・法律名）、数字（金額・割合・年号・順位）、自分が指定した条件（「徒歩5分以内」「予算◯円以内」など）、そして言い切っている部分です。総務省の教材の例でも、実在しない山の名前、不正確な標高、存在しない店、場所の相違、予算の大幅超過が課題として挙げられていました。逆に、文章のつなぎ方や要約の構成はAIが得意な部分なので、そこまで神経質にならなくて構いません。全部を確かめようとすると続かないので、場所を絞って必ずやるほうが機能します。

Q5. 複数のサイトが同じことを言っていれば、正しいと考えていいですか？

数だけで判断しないほうがいいです。同じ元ネタを写し合っているだけのことがあり、その場合は何件あっても確からしさは上がりません。総務省の教材のチェックリストにも「他ではどう言われている？」という項目がありますが、これは食い違いを見つけるための確認であって、多数決ではありません。順番としては、まず発表した本人の資料（会社の公式サイト、省庁のページ、法律なら条文そのもの）に当たり、それが見つかればそこで終わりにします。見つからないときに、専門家の発信や他の情報源を見る、という順です。

Q6. AIが作った画像かどうか、見れば分かりませんか？

難しくなっています。総務省の教材の応用問題では「画像に違和感がないか確認し、本物だろうと判断したので、家族に避難を呼びかける」が避けるべき対応とされており、解説に「生成AIの技術の進歩により、合成画像を見分けるのは非常に困難となっている。画像に違和感がなくても偽情報の可能性があるため、まずは公式情報を確認すべき」と書かれています。疑うところまでは正しい行動でも、見分けようとした時点で方法が違う、ということです。災害や事件の画像なら、自治体や関係機関の公式発表を見るのが先になります。

Q7. 知らずに間違った情報を広めてしまったら、どうなりますか？

総務省の教材は、発信者としてのリスクに「誹謗中傷、偽計業務妨害等につながった場合、損害賠償責任や刑事責任等を負う」「悪意を持って社会・経済を混乱させようとする人に、意図せず加担してしまう」を挙げています。気づかずに発信・拡散した場合として書かれているので、悪意がなかったことが広げた事実を打ち消すわけではない、という整理です。仕事の場面に置き換えると、AIに作らせた資料の数字が誤っていて社外に出た場合、説明する立場になるのは作った人で、「AIが言っていた」は説明になりません。

Q8. 拡散を控えたほうがいいのは、どんな情報ですか？

総務省の教材は、安易に拡散しないものとして「わからないもの」「誰かを傷つけるもの」「医療・健康情報」の3つを挙げています。どうしても拡散したいときの対応としては「拡散する前にひと呼吸」「手を止めて『間違いでは??』と考える」「異なる情報が出ていないかチェック」が示されています。このポイントがわざわざ置かれているのは、チェックリストを使っても騙されることがあるからで、教材も「チェックリストを用いて判断しても騙されるので、安易に拡散しない」としています。

Q9. 人物の画像をAIに作らせるとき、気をつけることはありますか？

偏りが出ることがあります。総務省の教材のモラルの項に具体例があり、画像生成AIで「Various nurses」と指示したところ女性ばかりが出力されて人種にも偏りが見られ、「国会議員」と指示したところ男性ばかりが出力されて同様に偏りが見られた、とされています。教材は「現在では、生成AIサービス側の改善が進んでいる」とも添えていますが、出力をそのまま使うと、自分が意図していない偏りを配ってしまう可能性があります。人物のイメージを作らせるときは、ここも確認する場所になります。

Q10. 締切が近くて確かめきれないときは、どうすればいいですか？

その部分を落とすか、断定をやめるのが安全です。裏が取れなかった一文を消す。消せない事情があるなら「◯◯については公表資料を確認できませんでした」と書く。要点は、確かめていないことを確かめたように書かないことです。全部を確かめる時間がないときほど、確かめる場所を4つ（固有名詞・数字・指定した条件・言い切っている部分）に絞って、そこだけは必ず外に出て確認する、という進め方が現実的でしょう。