iroiro

ChatGPT

大規模言語モデルの「幻覚 Hallucination」という問題について、本論文のIntroductionでは詳しく説明されています。System Cardは、「幻覚 Hallucination」という言葉を使用することについて注釈をつけており、擬人化の可能性や誤ったメンタルモデルの形成につながる可能性に言及しています。幻覚はモデルがより真実味を帯びるにつれてより危険になる可能性があり、大規模言語モデルにおける社会的な病理現象を引き起こす危険性が指摘されています。また、幻覚症状は単なる「個人的（？）」病理ではなく、社会的な病理現象を引き起こす可能性があると述べられています。これまでも大規模言語モデルに幻覚が存在することは知られており、この論文では抽象的な文書要約におけるモデルの限界や幻覚の種類について分析されました。System Cardでは幻覚症状が二つのタイプに分類されており、OpenAIは成果を誇示するのではなく、幻覚が引き起こす可能性のある社会的な病理現象を議論しています。

Bing AIの説明

大規模言語モデルの「幻覚（hallucination）」とは、事実とは異なる情報を事実のように語ることです。例えば、GPT-4が「日本の首都は大阪である」と生成する場合、それは幻覚と呼ばれます。大規模言語モデルは、学習したテキストコーパスに含まれる誤りや偏りを反映することがあります。
幻覚を防ぐ方法は、大規模言語モデルの学習データや評価方法を改善することです。例えば、以下のような方法があります。
・学習データに含まれる誤りや偏りを検出して修正する。
・学習データに多様なジャンルやドメインのテキストを含める。
・評価方法に人間のフィードバックや外部知識を利用する。

https://maruyama097.blogspot.com/2023/05/blog-post.html

大規模言語モデルは新たな知能か ChatGPTが変えた世界 （岩波科学ライブラリー　319） [ 岡野原 大輔 ] 価格：1,540円（税込、送料無料) (2023/5/26時点) 楽天で購入