iroiro

ChatGPT

「GPT-4 Technical Limitation」という章について話しましょう。この章の後には「Risks & mitigations」という章があります。GPT-4 Technical Reportは、GPT-4の危険性とその対策に焦点を当てたもう一つの論文で構成されています。この章では、以前のモデルであるChatGPTの制限についてOpenAIの評価が示されています。図6を見ると、ChatGPTの正確さはすべてのカテゴリーで40%から60%の範囲にとどまっています。言い換えると、ChatGPTの出力はおおよそ半分が間違っているということです。現在の「生成AIブーム」はChatGPTによって引き起こされましたが、この図の情報を正しく理解する必要があります。OpenAI自身の評価よりも過大評価が広まっている可能性があります。OpenAIがGPT-4の危険性と解決策に焦点を当てている中で、意識のズレが生じ、拡大する可能性もあります。私は、大規模言語モデルに基づく「人工知能」の限界は能力の不足にあると考えています。これらのモデルはむしろ「便利で賢い検索エンジン」と言えるものであり、現在のブームが収束すれば、皆がその重大な危険性に気づくでしょう。

Bing AIの説明

GPT-4には、以下のような技術的な制限があります。
・トークン数の制限：gpt-35-turboは4096トークン、gpt-4は8192トークン、gpt-4-32kは32768トークンです。これらの制限は、送信されたメッセージ配列とモデルの応答の両方のトークン数を含みます。
・コンテキストウィンドウの制限：GPT-4は、経験から学習した知識を長期的に保持することができません。コンテキストウィンドウが限られているため、長い会話や複雑なタスクでは性能が低下する可能性があります。
・信頼性の制限：GPT-4は完全に信頼できるわけではありません3。幻覚や偏見や誤りを含むことがあります。また、安全性や倫理性に関する問題も存在します。
GPT-4の制限を克服する方法は、モデルの改善や応用によって異なります。例えば、以下のような方法が考えられます。
・トークン数の制限を克服するには、レートリミットの増加を申請するか、より大きなモデル（gpt-4-32k）を使用することができます。
・コンテキストウィンドウの制限を克服するには、モデルにより長期的な記憶力を持たせるか、ユーザーにより具体的な入力を求めることができます。
・信頼性の制限を克服するには、モデルの出力を人間が監視したりフィルタリングしたりするか、モデルの学習データや目的関数を改善することができます。

https://maruyama097.blogspot.com/2023/05/limitation.html

ChatGPTの衝撃 AIが教えるAIの使い方 [ 矢内　東紀 ] 価格：1,540円（税込、送料無料) (2023/5/24時点) 楽天で購入