メタは、Llama 2のコーディングバージョンをリリースしました
Meta released the coding version of Llama 2.
先月、MetaはChatGPTの背後にあるものと似た強力な人工知能モデルであるLlama 2をリリースし、開発者、スタートアップ、研究者が世界を魅了してきたAIを試すことが可能になりました。
今日、Metaはプログラミングタスク向けにチューニングされたモデルであるCode Llamaをリリースしました。このリリースにより、より多くの開発者がAI支援のコーディングを体験することができるかもしれません。また、ソフトウェアにAIを埋め込む新しい方法をインスピレーションとすることもできます。そして、Metaを「オープン」なAIツールの主要なサプライヤーとしてさらに確立するのに役立つかもしれません。
「彼らがウェイトをコミュニティに公開するというのは興奮です」と、AIコーディングを研究してきたスタンフォード大学のポスドク研究員であるディーパク・クマールは述べています。彼は、モデルの中核であるニューラルネットワークのパラメータを指しています。
クマールは、Metaの通常の言語モデルであるLlama 2のリリースにより、それがどのように振る舞い、どのように変更できるかについて議論するためのコミュニティの形成を引き起こしたと述べています。「これは、GoogleやOpenAIのクローズドソースモデルと比較して、フードの下で実際に起こっていることを少し柔軟に扱うことができる」と彼は言います。
クマールは、Code Llamaを使用して新しい種類のアプリケーションを開発する開発者が多いと考えています。たとえば、コードのチャンクを推奨する前にさまざまな追加の安全チェックを実行するプログラミングアシスタントを作成することが可能になるかもしれません。クマールは、自身の研究でもAI支援が時にはより安全でないコードにつながることを探究しています。クマールは、このリリースが特定の種類のコーディングに特化したアシスタントの作成をインスピレーションとする可能性もあると述べています。「モデルの上にさまざまなツールを構築することができます」と彼は言います。
プログラミングは、AIの最近の進歩が既に大きな影響を与えている分野の一つです。
2021年5月、Microsoftの子会社であるGitHubは、ユーザーが入力した最初の行またはコメントに基づいてコードのセクションを自動補完するコーディングプログラムのプラグインであるCopilotを発売しました。Copilotは、ChatGPTの背後にある大規模な言語モデルであるOpen AIのGPTのバージョンを使用しています。GitHubは、開発者のために保存されるコードや、報告されているように、自分自身のコードに注釈をつけるために支払われる契約業者によってさらにトレーニングされます。
GitHubは、トレーニングデータにオープンソースのコードを使用したことで訴訟を起こされていますが、Masad氏は、Metaがそのような問題を回避するためにトレーニングデータを制限した可能性があると述べています。Copilotは、個人向けには月額10ドル、企業向けには月額19ドル、ユーザーごとに費用がかかります。
Copilotは、開発者に大いに支持されているようです。GitHubが6月に発表した数字によれば、100万人以上の開発者と20万人以上の企業が使用しています。会社独自の研究も、Copilotがコーダーがタスクを実行する速度を加速し、生産性を30％向上させることを示唆しています。
Metaは、Code Llamaの2つのバージョンをリリースすると述べており、1つはPythonコードの生成に適したもので、もう1つは自然言語のコマンドをコードに変換するために最適化されています。また、3つのモデルのサイズも利用可能です。最小のモデルは単一のGPUで実行できます。
Metaは、Code Llamaがパブリックドメインのコードでトレーニングされていると述べています。HumanEvalとMostly Basic Python Problemsという2つの一般的なコーディングベンチマークでは、既存のオープンソースのコーディングモデルよりも優れたパフォーマンスを発揮し、「ChatGPTと同等である」と同社は述べています。
Replitというオンラインコーディングプラットフォームを提供するReplitのCEOであるAmjad Masadは、Code LlamaがCopilotを置き換えることはないと予想しています。なぜなら、より限られたトレーニングデータを使用しているためです。しかし、彼は、このリリースにより、ウェブを検索して情報を取得したり、APIを使用してフライトを予約したり食事を注文したりするタスクを実行するエージェントを試すことができるようになるかもしれないと述べています。「それは非常に興味深い領域だと思います」とMasad氏は言います。「自然言語の指示を入力し、モデルがデータを処理し、世界で興味深いことを行う対話」。
Code Llamaのリリースは、Metaにも利益をもたらすかもしれません。MetaにはChatGPTやAI搭載の検索エンジンはありませんが、多くの開発者、企業、研究者に対して無料のAIを提供するプロバイダーとしての地位を確立することは、生成型AIを利用する競争において足がかりを与えるかもしれません。Metaは、Llamaの初期バージョンが5月にウェブ上に漏洩したのを目撃した後、オープンなアプローチを採用することを選びました。
ラマ2もコードラマも通常のオープンソースソフトウェアライセンスの下でリリースされておらず、制約のない商用利用を許可していません。たとえば、Metaのライセンスでは、ユーザーは月間ユーザー数が7億人を超えるアプリやサービスでモデルの使用を制限されます。
今月オンラインで掲載された研究論文によれば、AIツールのリリースは、例えば研究者をそのツールに固定することや、彼らにスケールで利用できる新しいアイデアを提供することなど、企業にとって重要な間接的な利益をもたらすと述べています。
