「GPT-4が馬鹿になっているのではないかと人々が考える理由 | ENBLE」という理由はこちらです
Here are the reasons why people think GPT-4 is becoming foolish | ENBLE
GPT-4の発表時には印象的でしたが、一部の見物人はその精度とパワーが低下していると指摘しています。これらの観察結果は、OpenAIのフォーラムなどに数か月前から投稿されています。
これらの感触は以前から存在していましたが、ついに証拠が見つかるかもしれません。スタンフォード大学とUCバークレーとの共同研究によると、GPT-4は応答能力を向上させておらず、言語モデルへのさらなるアップデートによって実際に悪化していると示唆されています。
この「時間の経過に伴うChatGPTの振る舞いの変化」の研究では、2023年3月から6月にかけてGPT-4と以前の言語バージョンであるGPT-3.5の能力をテストしました。500の問題データセットを使用して、研究者はGPT-4が3月に97.6％の正答率を示し、488の正しい回答を出したのに対し、GPT-4がいくつかのアップデートを経て6月には2.4％の正答率を示していたことを観察しました。モデルは数か月後にはわずか12の正しい回答しか出さなくなりました。
研究者による別のテストでは、連想思考の技術を使用し、GPT-4に対して「17,077は素数ですか？」という推論の問題を投げかけました。GPT-4は不正確な回答をし、その結論に至った経緯についても説明を行いませんでした。
この研究は、実際にはGPT-4が愚かになっているという疑念を抑えようとしたOpenAIの役員のツイートからわずか6日後に発表されました。以下のツイートは、回答の品質の低下が重度のユーザーによる心理現象であることを示唆しています。
- 「この4TBの外付けハードドライブは、今日は$90で割引されています | EN...
- Samsung ViewFinity S9とApple Studio Displayの仕様比較 | ENBLE
- 「RTX 4060 Ti 16GB」は和解の意味合いを持つものです動作していません ...
なお、GPT-4は現在、ChatGPT Plusを通じて開発者や有料メンバーに提供されています。私が行ったように、同じ質問をChatGPTの無料研究プレビューを通じてGPT-3.5に問い合わせると、正しい回答だけでなく、数学的なプロセスの詳細な説明も得られます。
さらに、コード生成も悪化しており、LeetCodeの開発者は3月から6月までの間にGPT-4の性能が50の簡単な問題のデータセットで52％から10％に低下していることを確認しました。
更に、Twitterのコメンテーターである@svpinoは、「OpenAIが大規模なモデルと同様の機能を持つが実行コストが低い小型の専門的なGPT-4モデルを使用しているのではないか」という噂があることを指摘しました。
このより安価で高速なオプションは、親会社が協力のためにその技術に依存している多くの大規模組織にとって、GPT-4の回答の品質の低下を招いている可能性があります。
しかし、この研究が何かを証明しているとは思わない人もいます。行動の変化は能力の低下と同義ではないという点を指摘しています。この点は、研究自体でも認められており、「ある能力を持つモデルが特定のプロンプトに応じてその能力を発揮するかどうかはわからない」と述べられています。つまり、望ましい結果を得るには、ユーザーから異なるタイプのプロンプトが必要かもしれません。
GPT-4が最初に発表された際、OpenAIはMicrosoft Azure AIスーパーコンピューターを使用して言語モデルを6ヶ月間トレーニングしたことを詳細に述べ、ユーザーのプロンプトから「望ましい情報を生成する可能性が40％高い」と主張しました。
GPT-3.5 LLMをベースとしたChatGPTは、2021年以降の世界の出来事に関する知識が限られているという情報の課題で既に知られており、それにより誤ったデータで欠損箇所を埋める可能性があります。しかし、情報の退行は、このサービスで以前には見られなかった完全に新しい問題のようです。ユーザーは問題を解決するためのアップデートを期待していました。
OpenAIのCEOであるSam Altmanは、連邦取引委員会がChatGPTが消費者保護法に違反しているかどうかを調査する中で、失望の気持ちをツイートで表明しました。
「私たちは自社の技術の限界について透明性を持っています。特に私たちは不十分な場合にはっきりと述べます。また、利益上限の構造が無制限のリターンを生み出すインセンティブを与えません」と彼はツイートしました。
