やじうまWatch

プログラミングに関するChatGPTの回答、半数以上に何らかの間違いが含まれるとの研究結果

  • tks24

2024年5月27日 12:10

　プログラミングに関した質問に対するChatGPTの回答のうち、52％が間違っていることを示す研究結果が発表されて一部で話題だ。

　これは、今月行われたカンファレンス「CHI 2024」で、米パデュー大学の研究者チームが発表したもの。それによると、「Stack Overflow」における517の質問に対するChatGPTの回答を分析したところ、そのうち52％に誤った情報が含まれていたという。全面的に間違っているわけではなく、一部に誤った情報が含まれていたにすぎないものの、かなり高い割合であることには間違いない。また、これと並行して行われたChatGPTの回答に対する言語分析では、12人のプログラマーを対象にアンケート調査を行ったところ、35％がChatGPTの口調を好ましいと回答、39％は内容の間違いに気付かなかったという。つまり、回答の丁寧な口調や、包括的に言及していると感じられる明解で教科書的に整理された文章から説得力を感じて、誤りを見抜けずスルーしてしまうケースが少なからずあるというわけで、ユーザー側も鵜呑みにしないことが求められそうだ。