ドイツのダルムシュタット工科大学の研究者らが、ChatGPTの生成応答と人間の応答を区別するための検出ツールの有効性を評価し、その精度と信頼性を比較する研究が発表された。大規模言語モデルの出現により、フェイクニュースや盗作、世論操作などの悪用が懸念されており、これに対応するための検出手法が提案されてきた。研究では、異なるドメインのChatGPTの生成テキストと人間の応答からなるベンチマークデータセットを使用し、24の検出モデルをテストした結果、全てのモデルで50%以下の成功率しか達成できないことが判明した。また、分析した検出器の多くが、どんなテキストでも人間が書いたと分類してしまう傾向があり、TNRが高く、TPRは低いことが分かった。
Bing AIの説明
ChatGPTが書いた文章を判断することはできます。ChatGPTは、OpenAI社が開発した会話型のAIモデルです。OpenAI社は、ChatGPTを含め、あらゆるAIが生成した文章を学習し、入力した文章がAIによって作られたものなのかを確認・判断できる「AI classifier」というツールを公式に提供しています。
このツールを使うと、文章の生成元がChatGPTかどうかを判定することができます。
AI classifierは、OpenAIがリリースしたツールで、AIによって生成された文章を判別することができます。このツールは、ChatGPTやInstructGPTなどのOpenAIのAIモデルだけでなく、他のAIモデルによって生成された文章も検出することができます。また、文章の生成元が人間かAIかだけでなく、どのようなAIモデルが使われたかも推定することができます。
このツールは、OpenAIのウェブサイトで無料で利用できます。
https://www.itmedia.co.jp/news/articles/2304/13/news074.html