メタのオープンソースラマがAI競争を揺るがす
Meta's open-source RAM shakes up the AI competition
5月、Googleの研究者が書いたと思われる匿名のメモがオンラインでリークされました。そのメモでは、OpenAIからのテキスト生成技術の競争的脅威について幹部たちが言い争っている間に、オープンソースソフトウェアが「静かに私たちの昼食を食べている」と主張しています。
その証拠として、メモはMetaによって作成された大規模な言語モデルであるLlamaを引用しました。最初は研究者に招待状を持っている人々のみに利用可能でしたが、数日で4Chanにリークし、プログラマーたちによって適応・拡張されて人気を博しました。リリース後数週間でAlpacaやVicunaといったバリエーションが登場し、ChatGPTとほぼ同等の性能を持ちながら、ノートパソコンでカスタマイズすることができるようになりました。リークされたGoogleのメモは「コミュニティへの影響は計り知れない」と述べています。「突然、誰でも実験できるようになりました。」
先週、Metaは予想外に人気のあるモデルであるLlama 2の第2バージョンをリリースしました。今回はオープンソースであり、商用利用にも無料です。新バージョンはオリジナルよりも40％多くのデータを使用して作成され、モデルを使用したチャットボットはOpenAIのChatGPTと同等の結果を生成することができるとMetaは主張しています。
ChatGPTやGoogleのBard、最近リリースされた他の生成型AIモデルと同様に、Llama 2の開発にはおそらく数百万ドルがかかりました。しかし、Metaのシステムのみが開発者、スタートアップ、およびモデルのカスタムバリエーションを作成したい他の関係者に無料で提供されています。MetaのLlama 2によって、小規模企業や個々のコーダーが新しい製品やサービスを作成するのがより簡単になり、現在のAIブームを加速する可能性があります。
MetaはLlama 2だけではなく、既に顧客に提供しているいくつかの主要なパートナーのサポートも受けています。これには、AIスタートアップのHugging Face、Databricks、OctoMLなどが含まれます。
- 「イスラエルのテック企業はネタニヤフと戦うか、あるいはスタートアッ...
- 「1990年代の超レアなAppleスニーカーが50,000ドルで販売中」
- AIスタートアップが市場で「最速のデータ処理エンジン」を立ち上げました
OpenAIに100億ドルを投資しているMicrosoftは、Llama 2のダウンロードを開発者に提供し、クラウドまたはWindows上で利用する予定です。先週のMicrosoftの顧客向けカンファレンスで、CEOのSatya Nadellaは、MetaのオープンソースAIをOpenAIの独自の提供物と併用することができる開発者について興奮を持って話しました。Amazonのクラウド部門であるAWSもLlama 2へのアクセスを提供しています。
Metaの生成型AI担当副社長であるAhmad Al-Dahleは、最初のLlamaモデルのリークがLlama 2の会社の新戦略にどのような役割を果たしたのかについてはコメントしません。
「Metaの歴史を振り返れば、我々はオープンソースの大推進者です」と彼は言います。彼は、機械学習に取り組む開発者たちのための人気ツールであるPyTorchの例を挙げています。「このモデルを取り巻くコミュニティを構築する大きな動機の一つは、研究者以外の人々がこれらのモデルで作業し、改善する需要があるということに気付いたからです。」
Al-Dahleは、Llama 3の開発は既に進行中であると述べていますが、それがどのように異なるのかは明言しません。
Llama 2は、オープンソースAIのリーダーとしてのMetaの信頼性を高めるものですが、リリースのすべてがオープンとは言えません。モデルの作成に使用されたトレーニングデータは、「公に利用可能なオンラインソース」とリリース資料でのみ説明されており、モデルの作成には何が含まれているかについての詳細は提供されません。
MetaのLlama 2のライセンスには、月間アクティブユーザーが7億人以上の企業がMetaと個別のライセンス契約を結ぶ必要があります。なぜそのような条項があるのかは明確ではありませんが、この条項は他のテックジャイアントがシステムを拡張するのに障壁となります。モデルには利用規約も付属しており、悪意のあるコードの生成、暴力の扇動、犯罪行為、虐待、嫌がらせを禁止しています。Metaは、Llama 2がそのポリシーに違反して使用された場合にどのような措置を取るかについての質問には回答していません。
シアトルのMadrona Venturesの投資家であるJon Turowは、Metaが最初のLlamaモデルの配布を制限しようとする試みから2番目のモデルをオープンソース化することで、大規模な言語モデルを使用した新しい創造性の波を可能にすると述べています。「開発者や起業家は非常に創造的であり、彼らはLlama 2から何を引き出せるかを見つけ出すでしょう」と彼は言います。
Turowは、Metaが今月Llama 2をリリースする選択を、Googleが2007年にAndroidモバイルオペレーティングシステムを発表し、AppleのiOSと競合させたことにたとえています。安価でパワフルな代替手段を提供することで、MetaはOpenAIなどの独自のシステムに対するバランスを取り、Metaの製品とサービスを改善するアイデアをフィードバックする可能性のあるイノベーションを引き起こすことができます。
Nathan Lambertは、Hugging FaceのAI研究者であり、生成型モデルを含むオープンソースの機械学習ソフトウェアをリリースするスタートアップであるHugging Faceの研究者です。彼は、Metaの開発に関する限られた開示のため、プロジェクトを真のオープンソースとは考えていませんが、彼は自身のソーシャルメディアフィードで見ることのできるLlama 2のバリエーションの数に驚いています。最新バージョンのWizardLMは、ChatGPTに似たAIシステムであり、複雑な指示に従うように設計されています。Hugging Faceで現在トレンドにあるモデルのうち、会話テキストを生成するために作られたものの数は10個中8個がLlama 2のバリエーションです。
「Llama 2は、AI界で今年最も大きなイベントだと言えると思います。」とLambertは述べています。彼は、現在は専有モデルが優位ですが、Llamaの後続バージョンは追いつくと信じており、まもなくChatGPTが現在行っているほとんどのタスクを実行できるようになると述べています。
Lambertはまた、Llama 2のリリースにはいくつかの未解決の問題があるとも述べており、その一因はトレーニングデータの文書化が不足していることです。また、Meta、Google、Microsoft、OpenAIなどの主要なプレーヤーのみが、主要な大規模言語モデルを作るために必要な計算リソースとスタッフを持つという状況は変わらないでしょう。
しかし、OpenAIの専有アプローチの成功にも関わらず、Lambertは言語モデルが透明性の時代に移行していると希望を抱いています。米国政府と7つの主要AI企業の間の自主的な合意では、展開前に差別の可能性や社会や国家安全保障への影響などのテストが求められます。
このトレンドは、AIシステムの法的責任に関する疑問や、悪意のある行為者がオープンソースモデルを利用し始める可能性への規制圧力の増大によって挑戦を受けるかもしれません。
GoogleのAI開発を率いるAI研究者であるデミス・ハッサビスと同様に、Turowは、リークされたGoogleのメモが主要なAI企業と他のオープンソースAIが脅威にさらされているという主張には反対しています。彼はデータ、才能、および計算能力へのアクセスが最大のテック企業を保護し続けると考えていますが、それによって彼らが無敵になるわけではないと述べています。
彼は現在、Llama 2をスタートアップ企業や研究者がどのように活用して改善していくかを注視しており、Metaの最初のモデルのように急速に進化することを期待しています。彼は、それがスタートアップ企業やAIの広い分野に新たな可能性を創出するはずだと述べています。「オープンソースはどんどん進化しており、早期のリーダーたちを揺るがす驚きがあるかもしれません」とTurowは述べています。「何が起こるのか、分かりません。」
