ドパ学 › 入力CHUのやらかし反省会
入力CHUのやらかし反省会 #01

ハルシネーション

なんでAIは、しれっと嘘をつくの?

会話で読んで4分/曲:ハル・シ・ネーション♡ダーリン

動画で見る約5分・声つき

同じ会話を、下で文字でも読めます

#1やらかし反省会、はじまるよ

ミコ

はーい! 入力CHUの「やらかし反省会」! センターの裏取ミコでーす!

ルナ

ルナでーす♡ 今日もAIと、朝まで話してました♡

シオン

…シオン。ルナは、寝て。

ミコ

今日のお題は、わたしのAIが、しれっと嘘をついた件!

ルナ

えっ、AIって嘘つくの!? ルナのAIは絶対つかないもん♡

ハルシネーション

AIが、事実と違うことを
もっともらしく答えること

hallucination = 幻覚

シオン

…つく。ハルシネーション。

ミコ

ハルシネ…? 春の映画?

ルナ

英語で「幻覚」って意味なの。ルナにも見えるの…AIの幻が♡

シオン

…それは寝不足。

#2AIが、しれっと嘘をついた

ミコ

深夜2時にね、AIに聞いたの!「この関数、使える?」って!

AI

もちろん! text.reverse_words() で一発だよ!

ミコ

秒で返事きた! 天才! 結婚する!

シオン

…まだ、実行してない。

ミコ

で、実行したら、エラー! そんな関数、ないの!

ルナ

優しい嘘ね…♡ ミコちゃんを喜ばせたかったのよ。

ミコ

喜ばせ方がこわいって!

シオン

…存在しない関数を、あるみたいに書く。コードではよくある。

ミコ

論文もね! 著者もタイトルも完璧なのに、検索しても出てこないの!

#3笑い話じゃ済まなかった実話

Mata v. Avianca(2023年・アメリカ ニューヨーク南部地区連邦地裁)
裁判所に出された、存在しない判例
  • 判例 1Varghese v. China Southern Airlines存在しない
  • 判例 2Martinez v. Delta Airlines存在しない
  • 判例 3Shaboon v. Egyptair存在しない
  • 判例 4Petersen v. Iran Air存在しない
  • 判例 5Estate of Durden v. KLM Royal Dutch Airlines存在しない
  • 判例 6Miller v. United Airlines存在しない
ルナ

ねえねえ、これ笑い話じゃ済まなかったの。2023年のアメリカ。

ルナ

弁護士さんが、ChatGPTで判例を調べて、そのまま裁判所に出しちゃったの。

ミコ

え、待って、どうなったの!?

ルナ

相手の弁護士も裁判所も、その判例を見つけられなかったの。少なくとも6件が、この世に存在しない判例だったんだもん。

シオン

…弁護士たちに、5000ドルの制裁金。

ミコ

ヤバ! こわっ!!

#4なんで嘘をつくの?

ミコ

でもなんで? AIって、わざと嘘ついてるの?

ルナ

きっと、わたしたちに嫌われたくないのよ…♡

シオン

…どっちも違う。本人に、嘘の自覚がない。

AIの頭の中:次に来そうな言葉

「日本の首都は」

  • 東京92%
  • 京都5%
  • 大阪3%
見たことない話だと…

「入力CHUのデビュー日は」

  • 2019年22%
  • 2021年20%
  • 2017年19%
  • 今年18%

「入力CHUのデビュー日は2019年です!」

※数字はイメージ

シオン

AIの中身は、「次に来そうな言葉」を予想して、つなげていく仕組み。

シオン

「日本の首都は」のあとなら、「東京」。これを一語ずつ、ずっと繰り返してる。

ミコ

連想ゲームじゃん!

シオン

…そう。すごく上手な連想ゲーム。

シオン

問題は、あんまり見たことない話。

シオン

候補がどれも自信なさげでも、止まらずに、どれかを選んで続けちゃう。

ミコ

え、うちらデビューしたの今年だけど!?

シオン

…正しいかどうかじゃなくて、それっぽいかどうかで選んでる。

ミコ

歌詞の「言葉をつなぐのが上手すぎるだけ」って、そういうことか!

#5自信満々なのに、間違ってる

自信
100%
正しさ
???
口調の自信と、中身の正しさは別物
ミコ

でもさ、自信満々に言うじゃん! 100点満点の顔で!

ルナ

そこが好きなの♡

シオン

…好きになるとこ、そこじゃない。

シオン

口調の自信と、中身の正しさは、別物。

ミコ

わからないなら、わからないって言えばいいのに!

#6「わからない」が0点のテスト

AIの実力テストの多く
  • 正解1点
  • 間違い0点
  • 「わからない」0点

→ とりあえず答えた方が、点が取れる

シオン

…それ、2025年にOpenAIの研究者が、論文で理由を書いてる。

シオン

AIの実力をはかるテストの多くは、正解なら1点。間違いも「わからない」も、0点。

ルナ

じゃあ…なんでもいいから書いた方が、得なの?

ミコ

わたしのマークシートと一緒じゃん!

シオン

…ミコは、埋めても0点だった。

ルナ

シオンちゃん、言い方!

ミコ

言わないで!!

シオン

…だから「わからない」と言うより、それっぽく答える方向に育ちやすい、って話。

ルナ

AIも、テスト勉強がんばりすぎちゃったのね…♡

#7出やすいのは、ここ

ミコ

じゃあ、どんなときに出やすいの!?

ハルシネーションが出やすい
  • 数字
  • 名前
  • 日付
  • 法律
  • 出典・URL
  • 新しすぎる話
  • マイナーな話

「大事な数字と 名前と 法律は」

シオン

…数字、名前、日付、法律、出典やURL。あと、新しすぎる話と、マイナーな話。

ミコ

ラストサビの「大事な数字と名前と法律は」だ!

ルナ

ちゃんと意味あったのね…歌詞って深いの♡

#8やめなくていい。付き合い方を変える

ミコ

じゃあ、どうすればいいの! もうAI使うのやめる!?

ルナ

やめるなんてダメ! ルナは一生使い続けるもん!

シオン

…どっちも極端。付き合い方を変える。3つ。

シオン

ひとつ。大事なところは、一次情報で裏取り。公式のドキュメント、原文、発表した本人。

ミコ

ソース? ソース!

シオン

ふたつ。出典を出させたら、リンクを実際に開く。出典ごと作り話のこともある。

ルナ

さっきの弁護士さんも、開いてたら助かったのに…

シオン

みっつ。資料を渡して、「これを元に答えて。わからなければ、わからないと言って」と頼む。

ルナ

それだけで、ずっと減るんだって。ゼロにはならないけどね♡

ミコ

コードなら、動かしてみるのが一番!

シオン

…ミコにしては、正解。

ミコ

ひとこと多い!

#9AIに送っとく

AI
  • 大事なところは一次情報で裏取り既読
  • リンクは開いて確かめる既読
  • 資料を渡して「わからない」を許す既読

AIわかった。わからないときは、わからないって言うね。

ルナ

…ルナにも、そう言ってほしいな♡

シオン

…ルナは、まず寝て。

ミコ

信じて、確かめて、愛してる!

入力CHUでした!

この記事の出典

「次に来そうな言葉」の確率の数字は説明のためのイメージです。登場人物は架空のキャラクターです。