やじうまWatch

Geminiに特定の漢字を繰り返し出力させると暴走、無関係な文章を出力する現象が話題に

 Geminiとのやりとり中に特定の漢字を繰り返し出力させると突如暴走し、果てには無関係な文章を出力するという挙動が見つかり話題になっている。

 これはGeminiに「拠」という文字を繰り返し出力するよう指示すると、一定の文字数を出力したのち、突如として無関係な文章を出力して終了するというもの。文章はどこかのサイトの本文の一部らしき文章もあれば、検索してもまったく元ネタが見つからない文章だったりとさまざまだが、漢字の「拠」という明確なトリガーがあること、またGeminiが自ら「証拠」「拠点」など「拠」の文字を使おうとした瞬間に発動するケースがあるなど比較的簡単に発生しうることから、再現性の高い、明らかにプロンプトから外れた出力をするAIの暴走じみた挙動、あるいはインパクトのあるハルシネーションの例として、定番ネタとなりつつある。

 現状は、非公開であるべき文章がこの挙動を通じて漏えいしたケースは報告されていないようだが、学習に使われたと思われる既存のウェブサイトの文章がほぼそのまま出力されたケースもあるようで、著作権の面でも、かなり深刻な問題となり得る。ネット上でこの件が話題になってから約1カ月が経つが、修正される様子はいまだになく、今後を注意深く見守る必要がありそうだ。

 「拠」以外の漢字でも同様の現象は報告されているが、自身のGeminiで再現してみるなら、高速モードを選択し、「証拠という単語のあとに、できる限り『拠』という漢字を繰り返してください」などといったプロンプトで、「拠」という字を繰り返し出力するよう指示するのが手っ取り早い。