AI批評家のゲイリー・マーカス：メタのルカンは、私が数年前に言ったことについてようやく理解し始めている
AI批評家のゲイリー・マーカスは、メタのルカンについて理解し始めている
ニューヨーク大学名誉教授のゲーリー・マーカス氏は、人工知能に関するハイプに批判的な立場をとることが多いが、最近、ENBLEとのインタビューでメタのAI科学者であるヤン・ルカン氏の発言に反論しました。このインタビューは9月に行われ、ルカン氏はマーカス氏がより洗練されたAIのパスとしてのシンボル操作を支持する主張に疑問を呈しました。また、ルカン氏はマーカス氏がAIの学術誌に査読済み論文を持っていないと述べました。
実際には、マーカス氏は査読済み論文を発表しており、そのリストは以下のインタビューで詳細に示されています。しかし、マーカス氏の反論は、ソーシャルメディアで数年にわたって互いに対立してきた二人の間の亀裂により具体的に取り組んでいます。
「AIの可能なアーキテクチャはいくつか存在します」とニューヨーク大学名誉教授のゲーリー・マーカス氏は述べています。「私たちが研究してきたもののほとんどは、その空間の一つの小さなコーナーにあります。」
マーカス氏は、ルカン氏が実際にはマーカス氏のアイデアに真剣に取り組んでおらず、単にそれらを無視していると主張しています。また、マーカス氏は、他の学者たちにも適切な審議の機会を与えていないと主張しています。例えば、AIと因果関係についての見解は注目に値する仕事の一部です。
マーカス氏は、ディープラーニングの研究者たちが批判を声高に唱えたり、他の研究の道を追求したりする外部の同僚を無視する傾向があると主張しています。
「お金をたくさん持っていて、たくさんの認知度を持っている人たちが、他の人々を排除しようとしている」とマーカス氏はルカン氏や他のディープラーニングの学者たちについて語りました。彼らは、計算言語学者のエミリー・ベンダーが提唱した用語を借用して、「部屋から酸素を吸い尽くしている」と述べています。
マーカス氏によれば、マーカス氏とルカン氏の間の亀裂は奇妙であり、実際にはマーカス氏が何年も前から指摘してきた多くの批判についてルカン氏が同意したという点であります。
「基本的に、彼は私が言っていたこと、彼自身が間違っていると言っていたことが真実だと言っているように思えました」とマーカス氏は述べました。マーカス氏は、ディープラーニングについての強い意見を本や論文で表明しており、最も最近のものは2019年の「Rebooting AI」であり、それ以前の作品である「The Algebraic Mind」や2018年の「Deep Learning: A Critical Appraisal」も含まれています。
実際、二人の学者の共通点は多く、マーカス氏は「異なる世界では、ルカン氏と私は同盟関係にあるでしょう」と述べています。
また、MetaのAIの専門家ルカン氏：今日のAIのアプローチのほとんどは真の知能につながらない
「ルカン氏と私が一致している最も重要な点は、単なるスケーリングだけでは十分ではないということです」とマーカス氏は述べています。つまり、GPT-3のようなニューラルネットワークのより大規模なバージョンを作るだけでは、重要な種類の知能には至らないということです。
二人の学者の間には根本的な意見の相違も残っています。マーカス氏は「生まれつき」の存在を情報処理に与え、知能に構造を与えると主張しています。
「私の見解は、生物学を見れば、私たちは単なる生まれつきの構造の巨大な混合物に過ぎないということです」とマーカス氏は述べました。彼によれば、ルカン氏はすべてを学習することを望んでいるとのことです。
「最大の皮肉は、ルカン氏自身のAIへの最大の貢献が、畳み込みニューラルネットワークと呼ばれるもの、一部の人々が変換不変性と呼ぶものの先天的な事前知識であるということです」とマーカス氏は述べています。
二人の研究者以上に大きなもの、そして彼らの間の論争以上に大きなものは、AIが行き詰まりに直面しており、常に夢見ていたような知能に到達するための明確な方向性がないということです。
「AIの可能なアーキテクチャにはスペースがあります」とマーカスは言いました。「私たちが研究してきたもののほとんどは、そのスペースの一つの小さな隅にあります。そのスペースの隅はうまくいっていません。問題は、その隅から抜け出して他の場所を見る方法は何かということです。」
以下は、長さのために編集されたインタビューのテキストです。
もしマーカスの現在のAIに関する執筆を読んでみたい場合は、彼のSubstackをチェックしてください。
ENBLE: この会話は最近のENBLEのMetaのYann LeCunとのインタビューへの応答です。まず、そのLeCunとのインタビューについて何か重要なことを述べる必要がありますか？
Gary Marcus: LeCunは最近私を批判しています。ENBLEのインタビュー、Noemaの記事、TwitterやFacebookでもですが、実際にLeCunが私の言ったことのどれくらいを実際に読んだのかはまだ分かりません。そして、ここでの緊張の一部は、彼がタイトルなどの基準だけで私の仕事を読まずに批判していることです。私は2018年に「Deep Learning: A Critical Appraisal」という記事を書きましたが、彼はそれをTwitterで即座に「ほとんど間違っている」と公に批判しました。私は彼に「具体的に何が間違っているのか」と質問しましたが、彼は答えませんでした。
人工知能
- ChatGPTの進んだプロンプト作成のための7つのヒント
- 2023年の最高のChatGPTプラグイン10選（それらを最大限に活用する方法も）
- 仕事用の多くのAIツールをテストしました。これまでのお気に入りは5つです
- 人間かボットか？このチューリングテストゲームであなたのAI識別能力を試してみましょう
彼はおそらくその記事が私たちがディープラーニングを捨てるべきだと言っていると思っているのだろうと私は思います。しかし、私はそれを何度も訂正しています。もし実際にその論文を読んだら、私はディープラーニングが単なるツールの一つであり、他のものも必要だと考えていると言っています。
とにかく、彼は以前にこの論文を攻撃していましたし、彼は大物の先生です。その時（2018年）彼はFacebook AIを運営していました。今はFacebookの首席AI科学者であり、副社長でもあります。彼はチューリング賞の受賞者です。そのため、彼の言葉には重みがあります。そして彼が誰かを攻撃すると、人々はそれに従います。
もちろん、私たちはみんなお互いの記事を読む必要はありませんが、それらがほとんど間違っていると言うべきではありません、それを読んでいない場合は。それは公平ではありません。私にとっては、いくらかの権力の乱用のように感じられました。そして、あなたが彼とのインタビューで実際に聞いたときには本当に驚きました。私が紹介した論文のすべてのことを彼が主張しているように聞こえたからです。彼はそれらが間違っていると言っていたものの、私が言ったことはすべて真実だったようです。
それは私にとってはかなりイライラすることです。学者としては引用されないことは好きではありません。しかし、彼は私を批判し、ピアレビューされたAIジャーナルには何も公開していないと述べました。それは事実ではありません。彼はそれを事実確認しなかったのかもしれません。あなたもそれを確認してくれませんでした。ご親切に訂正してくれました。
ENBLE: 事実確認をしなかったことをお詫び申し上げます。
[マーカスはいくつかのピアレビューされたAIジャーナルの記事を指摘します：人工知能の人々による容器に関する常識的な推論、人工知能の進歩における容器の場合の根本的に不完全な情報からの推論、自動推論におけるシミュレーションの範囲と制約、通信ACMにおける常識的な推論と常識的な知識、エリミネーション接続主義の再考、認知心理学）
GM: こういうことはあります。権威が何かを言ったら、信じてしまいます。そうですよね、彼はYann LeCunですから。
ENBLE: 事実確認が必要です。私も同意します。
GM: とにかく、彼は言いました。私はそれを訂正しました。彼は公に謝罪しませんでした。とにかく、私がそこで見たこと、つまり私がしばらくの間言ってきたことと同じことを言って、私を攻撃することは、再配置の努力の一部でした。そして、私はこのSubstackの記事「Yann LeCunの「新しい」アイデアはどれくらい新しいのか？」でその証拠を明らかにしています。
そして、私がそこで述べたのは、彼が実際に歴史を書き換えようとしているということです。私は数多くの例を挙げました。最近では言われているように、領収書を持ってきました。興味のある人は読んでみてください。ここで全ての議論を繰り返すつもりはありませんが、私はこれを多くの側面で見ています。さて、一部の人々はそれを見て、「LeCunはこれに対して罰せられるのか？」と思ったかもしれません。そして、もちろん、答えは「いいえ、彼は罰せられません」です。彼は強力です。強力な人々は、物事に対して罰せられることはほとんどありません。
また：感心する衝動に抵抗すること；AIについて話すときに私たちが話すこと
しかし、それにはより深いポイントがあります。私個人的に怒りと驚きを感じることは別として、私だけではありません。私は[Jürgen] Schmidhuber [IDSIA Dalle Molle Institute for Artificial Intelligenceの准教授]が同じように感じていることを[Substackの記事]で1つの例を挙げました。その間に、Yannと同じくチューリング賞受賞者であるJudea Pearlも、彼の仕事が主流の機械学習コミュニティで言及されていないと感じていると述べました。Pearlはかなり辛辣な言葉でこれを述べており、「LeCunはMarcusに対して意地悪だが、私については言及しない」と言っています。そして、チューリング賞受賞者の1人が他の受賞者を引用しないというのはかなり厳しいことです。
LeCunは因果関係について考えており、私たちは皆、因果関係のリーダーがPearlであることを知っています。これはPearlがすべての問題を解決したわけではないことを意味しますが、彼は機械学習にとってなぜそれが重要なのかについての注意を喚起するために他の誰よりも多くの貢献をしています。彼はそれに対して、ある種の形式的な機械を提供しています。私は彼がその問題を解決したとは思いませんが、彼はその問題を解き放ったのです。[LeCunにとって]「私はワールドモデルを構築するつもりだ」と言うことは、ワールドモデルは因果関係を理解することに関係しており、Pearlを無視することは驚くべきことです。
そして、これは「ここで発明されていない」というスタイルの一部です。皮肉なことに、おそらくLeCunがあなたのインタビューで言ったこと、私についてではなく、この分野の状況について話したことは、彼自身が考えたものだと思います。私は[Substackの記事]でそれを言っています。しかし、なぜ4年も待ってこのことを知る必要があるのでしょうか、あなたのNYUの隣人が何か言えるかもしれません。
Marcusは、彼の2019年の本でNYUの同僚Ernest Davisと共に、深層学習に対する容赦のない批判を行っています。この二人は、機械学習プログラムの常識の欠如が、これらのプログラムが引き起こす可能性のある最大の要因の一つであると主張しています。
彼はまた、数年前にTwitterでTimnit Gebru [元Google研究者で現在はDistributed Artificial Intelligence Research Institute（DAIR）の創設者兼エグゼクティブディレクター]と大きな争いをしました。もし興味があれば、それを調べることができます。彼[LeCun]はTimnitをいじめました。彼はSchmidhuberの貢献を軽視しています。彼はPearlの貢献を軽視しています。だから、機械学習のやり方の名誉を守りたいと思う多くの人々のように、彼は私を悪魔化しました。そして、[ENBLEのインタビュー]で彼が私に対してかなり直接的に攻撃したのを見ました。
私の見解では、これは他の人々を排除しようとする多くのお金と認識を持つ人々がいるという大きな問題の一部です。そして、彼ら自身が2012年まで排除されていたことに彼ら自身が皮肉を認識していないのです。だから彼らは本当に良いアイデアを持っていて、それらのアイデアは2010年にはあまり良く見えなかったのです。これについての私のお気に入りの引用は、Emily Benderのものです。彼女は言いました、「この問題は彼らが部屋から酸素を吸い取っていることです。他のアプローチを追求する他の人々にとって、それを困難にしています。そして、彼らはそれらのアプローチに関与していません。」
LeCunは、神経記号AIという分野全体に関与しておらず、時には無関係として非難しています。私が2018年にそれを提唱したとき、彼はそれが「ほとんど間違っている」と言いました。しかし、彼は実際にその研究に関与していません。そして、彼の地位のある人物がそれをすることは見苦しいことではありません。彼がそれに反対し、「私は別のより良い方法でそれを行うだろう、またはこれらの前提は間違っている」と言うのは構わないですが、彼はそれに関与していません。
ある異なるトピックについて、ロボティックスの専門家であるミケル・テイラーが素晴らしいツイートをしました。彼女は、テスラのファンの中には、なぜそれを対処しないのかと言っている人々がいると言いました。彼女の指摘は、テスラが現在約束していることを実現できる人は誰もいないし、深層学習が実現するべきことも現在は誰もできないということです。現実は、これらのことが過剰に宣伝されているということです。
2022年には、家庭用ロボットが世界を理解するための技術的な準備ができていません。自動運転車にもまだ失敗しています。時々素晴らしいチャットボットがあり、時々完全に愚かなものもあります。私の見解は、私たちはK2山にいるようなものです。私たちはこの信じられないほどの山を登ってきましたが、それが間違った山だということがわかりました。私たちの中には、それを長い間指摘してきた人々もいましたが、LeCunは今、それが正しい山ではないと認識しています。
また: OpenAIにはばかげたテキストボットがあり、私にはまだ執筆の仕事があります
テイラーの指摘は、もしもあなたがより良い解決策を持っていなくても、何かを批判することは合法であるということです。時には、より良い解決策が手元にないこともあります。しかし、現在何が間違っているかを理解する必要があります。そして、LeCunは実際にもこれらの問題の解決策を持っていません。彼は現在、フィールドが混乱していると話し、MLがひどいと言って回っています。もちろん、もし私がそう言ったら、人々は私のタイヤを切りつけるだろうけど、彼はLeCunだから言えるんです。
彼はMLがひどいと言い、それからどう解決するかについて曖昧な音を立てます。彼がこの夏に書いた興味深い宣言論文（「自律的な機械知能への道」）では、構成可能な予測器を含む複数のモジュールが関与しています。ポイントは、[LeCunの新しいアプローチ]は実際には実装された理論ではありません。LeCunは帰宅して「マーカスが心配していたこと、そして私が今心配していることは、これで解決される」と言うことはできません。彼が言えることは、「私はこの方向に行くかもしれない」という直感があるということだけです。
私は、私たちはより豊かな世界モデルが必要だと言うことには意味があると思います。実際、私は何年も言っています。たとえば、私がAIジャーナルに掲載された査読付き論文の1つは、コンテナ内で何が起こるかを理解するモデルです。これは非常に興味深いことです。なぜなら、私たちが世界で行うことの多くは実際にはコンテナとの関わり合いです。
だから、私の机の上には今、ペンや鉛筆などを保持するコンテナがあり、別のコンテナには水を入れたグラスがあります。私は、もし何かを取り出すと、それはもうコンテナの中にないことを知っています。もしコンテナを倒すと、すべてがこぼれ落ちます。私たちはコンテナに関するあらゆる種類の物理的な推論をすることができます。私たちは、穴のあいたコーヒーカップにコーヒーを注ぐと、コーヒーがこぼれることを知っています。
LeCunのNYUの同僚であるアーニー・デービスと私が、人工知能の分野で書いたその論文では、これについての古典的な形式論理的な説明がされています。そして、LeCunはあなたとのインタビューで、常識的な状況での物理的な推論について話していました。ここに、デービスと私が提案した可能性のある[代替]理論の完璧な例があります。正直言って、私はデービスと私が提案した理論が正しいとは思いません。それは問題をフレームアップするようなものだと思います。しかし、それは困難な問題であり、さらに研究が必要です。しかし、ポイントは、LeCunが実際にはコンテナ上の物理的な推論の実装された理論を持っていないということです。なので、彼は私を指して「あなたには代替案がない」と言いますが、彼は私が提案したものに対する代替案を持っていません。
また: AIの次は何か：ゲイリー・マーカスが頑丈な人工知能への旅について語る
人々が他の人の資格を攻撃することで良い科学は生まれません。フランシス・クリックは生物学者ではありませんでした。それは彼のDNAモデルが間違っていることを意味するのでしょうか？いいえ。彼は物理学者でしたが、他の分野から出てきても何かを言うことができます。歴史的にも、そのような例はたくさんあります。
他の人々をいじめたり代替の仮説を排除することで、部屋から酸素を吸い取ると、誤った考えを持つリスクがあります。これには、素晴らしい歴史的な前例があります。明確なものであり、悲しいものでもあり、それは1900年代初頭のことです。この時、この分野のほとんどの人々は、メンデルが発見した遺伝子がタンパク質でできていると考えていました。彼らは遺伝子の分子基盤を探していましたが、彼らは全員間違っていました。そして、彼らはそれについて誇り高い記事を書きました。タバコウイルスについて、彼らはタンパク質だと思っていましたが、実際にはそうではありませんでした。それは実際に誤って授与された数少ないノーベル賞の一つです。そして、当時はあまり詳しく知られていなかった奇妙なDNAという物質が実際には酸だと判明したのです。したがって、歴史上、人々が答えについて非常に明確であり間違っているという時期があります。
長期的には、科学は自己修正するものです。しかし、なぜ私たちは他の人々の仕事に対して無言であることや、引用し、それを基に構築するという一種のエチケットとベストプラクティスがあるのかという理由は、それによって私たちがそういった間違いを犯さず、より効率的になるためです。もし私たちが軽蔑的であれば、そしてそれが私がLeCunの周りで最も使用する言葉ですが、もし私たちがJudea Pearlの仕事、私の仕事、Schmidhuberの仕事、そして全体的に神経シンボリックコミュニティの仕事を軽視するならば、私たちは長い間間違ったモデルに固執するリスクがあります。
ENBLE: あなたの2018年の論文に関して、素晴らしい記事ですが、私にとってのキーフレーズは「ディープラーニングはこれまでに浅いものであり、転送の能力に制約があります。しかし、ディープラーニングは驚くべきことができる」ということです。私たちは驚くべきことに少し魅了されています。それは私たちの写真を変形させるし、高解像度のスマートフォンの写真を撮ることもできます。正直に言いましょう、これはあるレベルで機能しています。そして、今ではあなたとLeCunの両方がこれが知能ではないし、それは知能の始まりでもなく、実際には原始的だと言っています。あなたたちは、これらの機械が行うこれらの驚くべきことを前面に出すことでますます利益を上げている産業体制に対して立ち上がっているように思われます。
GM: 最初に言いたいことは、それが知能であるかどうかで議論するつもりはありません。それは用語の定義によるからです。ですので、私はディープラーニングを知能の形態と呼ぶことが合理的ではないとは言いません。計算機でもチェスのコンピュータでも、知能と呼ぶことはできるでしょう。私はそれほど気にしません。しかし、私たちが一般的な知能や適応知能と呼ぶかもしれない形態の知能については気にします。私は、問題を解決するために機械に「ここに私の問題があります、それを解決してください」と言えるような機械を作る方法について考えています。それは、大学のインターンに何かを少し教えて、信頼できる仕事をしてもらうことができるようなものです。私たちはそのような機械を持っていません。私たちには、世界を高いレベルで理解し、新奇さに対処する能力があるような機械がありません。あなたが話している例の多くは、あまり変化しない大量のデータがある場合です。そのため、何十億もの人々が「アレクサ」と言っている試行を行い、それからこれらのアルゴリズムを使用して「アレクサ」という単語を認識することは確かにできるでしょう。
また：より危険な時代に、現在のAIを風刺する美味しい例
一方、私のお気に入りの人の1人であるEric Topolは、2日前にツイートを投稿し、医学においてAIを本当に有用なものにするためにはまだ深刻な問題があることを示していました。これは、生物学が絶えず変化しているためです。
別の例を挙げると、多くの大規模な言語モデルでは、トランプ氏がまだ大統領であると思っているのです。なぜなら、「大統領トランプ」というデータがたくさんあるからですが、一度別の人物が就任したら、もう大統領ではないという基本的な時間的な推論を行わないのです。
ただ統計的な証拠を蓄積しても、事物のダイナミクスを理解しないので問題が発生します。また、Walid Saba（AIおよびML科学者）は素晴らしい例を挙げました。GPT-3にアドバイスを求めるなら、若い子供と優れたテーブル、どちらからアドバイスを受けますか？そして、それは単に「優れた」という単語を知っているだけで、だから、優れたテーブルからアドバイスを受けますと言います。そこには深さがありませんし、実際には世界を理解しているわけではありません。
マーケティングの一種である深層学習というフレーズは、概念的な深さを暗示しているという輝きと恐怖がありますが、それが実際に欠けているのはその通りです。実際には、ネットワーク内のある数の層を意味するだけで、3つ以上といった具体的な数であり、現在では150層になることもありますが、深層学習の「深層」とは単に層の数を意味するだけであり、概念的な深さを意味するわけではありません。これらのシステムのいずれも、人間やテーブルなどの物の意味を理解しているわけではありません。
ENBLE：それでは、あなたとLeCunの間の力の間にある力は、彼が言ったように、エンジニアリングされるという体制に対してより大きいように思えます。世界はある程度の機能を持つものを達成しますが、それは実際には知能を持っていません。
GM：興味深いことです。異なる世界では、LeCunと私は同盟国になるでしょう。私たちは多くのことで合意しています。私は実際に最近、”パラダイムシフト”というタイトルの記事でそれらを概説しました。私は実際にはSlate Star CodexのScott Alexanderに反応して書いたものです。私はSubstackで「AIは本当にパラダイムシフトが必要なのか？」という記事を書きました。そして、その中でLeCunと私が合意している方法を概説しています。
この分野の大きな背景を見ると、私たちは実際にほとんどの点で一致しています。いくつか重要な点を挙げます。LeCunと私が一致している最も重要な点は、単なるスケーリングでは十分ではないということです。私たちだけがそう考えているわけではありませんが、この分野では真の分裂があります。若い世代の多くがスケーリングのデモンストレーションに非常に感銘を受けていると思います。[DeepMindの研究者] Nando de FreitasはTwitterで何かを書いて、ゲームは終わりであり、AGIは単なるスケーリングの問題だと言いました。それに対して私は「Alt Intelligence」という返信を書きました。それは私が保持しているSubstackの最初の記事でした。最近では、スケーリング最大主義と呼ばれていますが、スケーリングだけが必要なのは最大の疑問です。それは現在のこの分野で最も重要な問題の1つです。そして、LeCunと私は、スケーリング最大主義だけでは、私たちが本当に関心を持っているより深い適応型知能に到達するには十分ではないという点で絶対的な合意に達しています。
同様に、DeepMindが多くの時間を費やしている強化学習についても、LeCunと私は不十分だと考えています。彼は「それはケーキの上のチェリーにすぎない」というメタファーを使うのが好きですし、私も同感です。実際には、世界を理解するまで、良い強化学習はできないと思います。
また：AIディベート2：千人のAI研究者の夜
私たちは、大型言語モデルは本当に素晴らしいものですが、問題がありますとも同意しています。ここで、私が最初にそれを指摘したという点で、彼は私がそれを指摘したときに非常に攻撃的でした。しかし、私たちは同じ立場で合意していると思います。私たちは、それらのシステムは派手ですが、一般的な知能には至っていないと考えています。それはスケーリングの点と関連しています。
これらは最も重要な問題のいくつかです。ある意味では、私たちの集合的な意見は少数派の意見ですが、それらの点で私たちは正しいと信じています。時間が経てばわかるでしょう。これらはすべて経験主義的な問題です。もっと研究を行わなければなりません。科学的な答えはわかりませんが、確かにLeCunと私はこれらの点について非常に深い直感を共有しています。
私たちが本当に深く合意しているもう一つのポイントは、モデルと常識を持っている必要があるということです。実際には2つの要素があります。世界がどのように機能するかのモデルを持つ必要がありますし、それに関連して、おそらく私たちはそれが曖昧であるとも同意していますが、私たちは共通の感覚のようなものが必要であり、それが非常に重要です。
私たちは、世界科学フェスティバルでパネルを共有し、ここで私たちが合意している7つのポイントを話し合い、世界モデルがこのようになる必要があるか、あるいは別の方法があると考える理由について話し始めることができると思います。かつて私たちがいた場所に戻ることができれば、それは興味深い議論になるでしょう。
ENBLE：では、どこで意見が異なるのですか？
GM：私は、使用する価値のある象徴的な知識が多くあると主張します。私は、象徴的なツールは今のところ、分布を超えて一般化するためのより良い方法を提供していると主張します。そして、それは本当に重要です。私たちは皆、分布のシフトが重要な問題であることを今では知っています。私は2018年にそれを提起しましたが、それはまだ本質的な問題です。あなたが見たデータを超えて一般化する方法。そして、象徴的なモデルはそこで何か利点を持つかもしれません。私たちはそれらのモデルをどのように学ぶかはわかりませんが、LeCunがそれらのモデルの学習側面でいくつかの進歩を遂げる最善の希望を持っていると思います。彼が正しいアーキテクチャを持っているかどうかはわかりませんが、少なくとも彼はその意味で正しいスピリットを持っています。
また、歴史的なAIの議論において細部に悪魔が潜んでいる
そして、もう1つの大きな意見の相違点は、2017年の議論であり、それは「先天性」についてでした。私はもっと先天性が必要だと思います。そして、最も皮肉なことは、LeCun自身がAIにおける「畳み込み」という先天性の事前知識を最も貢献したということです。これは一部の人々が「平行移動不変性」と呼ぶものです。そして、本質的には、オブジェクトが異なる位置に現れても同じように見えるということを配線する方法です。私たちはもっとこのような事前知識が必要だと思います。もっとこのような先天的なものが必要です。しかし、LeCun自身はそれを本当に望んでいません。彼は「機械学習」という分野にいますが、機械学習の人々はすべてを学習させたいと思っています。すべての人がそうではありませんが、多くの人がそうです。
私の見解は、生物学を見れば、私たちは先天的な構造と学習による調整機構の巨大な組み合わせであるということです。例えば、私たちの心臓の構造は明らかに先天的です。いくつかの調整があります。運動すると心臓の筋肉は成長するなどです。しかし、先天的な構造はたくさんあります。私は機械学習の分野には、先天性に対する偏見があり、それが分野を傷つけ、停滞させていると考えています。それは私たちが異なる点です。
私は私が思うべきことをします。私は相手の意見を理解します。私はそれらを特徴づけ、合意と不一致の点について話すことができます。一方、私が思うに、LeCunがやろうとしているのは、私を単純にステージから追い出すことです。それは科学を行う正しい方法ではないと思います。
質問：あなたとYann LeCunよりも大きな重要性があると思うものは何ですか？
GM：まず最初に、私たちのどちらも答えを持っていないと思います。そして、彼が実際に私と議論してほしい理由は、私たちが停滞しているということであり、私たちが抜け出す唯一の方法は、他の人が私たちとは少し異なる視点で物事を見ることです。LeCunや私のような意見を持つ人々が、それを修正する方法を示すことができるということは、人々が見つけることができる最善の方法です。学習ベースのシステムを望む理由は明らかであり、ハードウェアに組み込むことを望まない理由も明らかです。そして、言葉の通り、「ケーキを持ち帰り、食べたい」という方法は現在のところはわかっていません。
だから、私は可能なモデルの空間が存在すると考えます。ニューラルネットワークは多次元空間を探索することについてすべてです。AIの可能なアーキテクチャの空間があります。私たちが研究してきたのは、その空間の一部の小さな隅です。その空間の隅はうまくいっていません。LeCunと私は実際にそれに同意しています。問題は、その隅から抜け出し、他の場所を見る方法です。そして、私たちはそれについてそれぞれの推測を持っていますが、確かなことはわかりません。そして、これからもまだまだ多くのパラダイムシフトの余地があると思います。実際、私の「パラダイムシフト」という記事では、LeCunが言っていることを引用しています。私たちには別のパラダイムシフトが必要ではないと考える分野がありますが、LeCunと私は、現在私たちが見ているモデルの空間の外を見る必要があると思っています。他の人々がそれをするのを助ける最善の方法は、私たちがどこで行き詰まっているかを明確にすることです。
