「AI幻覚は科学への「直接的な脅威」となる可能性がある、オックスフォード大学の研究が警告」というテキストです
「オックスフォード大学の研究によると、『AI幻覚』と呼ばれる現象が科学界にとって「直接的な脅威」となる可能性があるとの警告が出されました」
大型言語モデル（LLM）— チャットボットに使用されるものなど — は、気がつくと驚くほど幻覚を見せる傾向があります。つまり、正確さを提示しながら誤ったコンテンツを生成することです。オックスフォード・インターネット研究所の研究者は、これらのAIの幻覚が科学と科学的真実に直接的な脅威をもたらすと警告しています。
彼らがNature Human Behaviourに発表した論文によると、「LLMは、正確性や事実との整合性に関して、どんな確約も持たずに有益で説得力のある応答を生成するように設計されています」とのことです。
LLMは現在、知識源として扱われ、質問やプロンプトに対する応答として情報を生成します。しかし、彼らが訓練されているデータが必ずしも事実に基づいているわけではありません。その理由のひとつは、これらのモデルがしばしばオンラインソースを使用しており、そのソースには誤った記述や意見、不正確な情報が含まれる可能性があるからです。
「LLMを使用する人々は、しばしばその技術を擬人化し、それを人間のような情報源として信頼します」と、論文の共著者であるブレント・ミトルシュタット教授は説明しています。
「これは、LLMがユーザーと会話し、自信を持った文書化されたテキストでほとんどどんな質問にも回答するような有益で人間らしいエージェントとして設計されているための一部です。その結果、ユーザーは、回答が事実に基づいていないか、真実のバイアスがかかった部分的なバージョンである場合であっても、それを正確だと簡単に信じ込まれることがあります。」
- FBIがScattered Spiderが悪名高いランサムウェアギャングとの提携を暴露
- 「サム・オルトマン氏がマイクロソフトへの移籍によってチャットGPTの将...
- Coinbaseが暗号通貨の支払いを改善するためのオープンソースプロトコル...
科学と教育においては、情報の正確性が非常に重要であり、研究者たちは科学コミュニティに対してLLMを「零ショット・トランスレーター」として使用するよう求めています。つまり、ユーザーはモデルに適切なデータを提供し、それを結論やコードに変換するよう要求すべきです — モデルそのものを知識源として頼るのではなく。
これにより、出力が事実に基づいており提供された入力と一致しているかどうかを確認することが簡単になります。
オックスフォードの教授たちは、LLMが「間違いなく」科学のワークフローに役立つであろうと述べています。しかし、コミュニティが責任を持って使用し、実際にどのように貢献できるのかについて明確な期待を持つことが重要です。
