控えめなタイトルからは想像できないほど深い内容です。
機械学習やAIに何らかのかかわりがある人全員に一読することをお勧めします。
原書は2021年に出版された"A thousand Brains: A New Theory of Intelligence"で、わずか数年前に出版されたものですがこの数年でも機械学習の分野は目覚ましい進歩を遂げてきました。
本書が2021年時点でここまで現在のAIの進展を予想しているというか、さらに先を行っていることにとても驚きました。
もし忙しくて全部読む時間がないということでしたら、3部構成のうち１，2部だけでも読むことを勧めます。
大脳新皮質のなぞ1000の脳理論
大脳新皮質のコラムの一つ一つが座標系を作り出しすべての知識が座標系内に保存されるということを彼らは見つけました。
この座標系というのは我々が住んでいる3次元の座標系というだけでなく数学や政治といった抽象的な概念が高次元の空間に埋め込まれた多様体のような形で新皮質のコラムの中に作り出され、それを使って予想が行われることで脳は物事を理解していると説明しています。
LLMが発展すればAGIに近づくかもしれないと言われていますが、本書が神経科学のアプローチから進んできた新皮質の謎と最近のディープラーニングを用いた大規模言語モデルとがちょうどつじつまが合う形でピッタリとつながじゃないか！と読みながら興奮しました。
言語というのは大量のデータが簡単に収集できる形でインターネット上に蓄積されていて、しかもコンピュータで処理しやすい形で存在しさらに大規模なネットワークを構築しそれを学習できるだけの計算機リソースを人類が手に入れることができたことが図らずも著者の主張をあぶりだすことが出来た理由だと思います。
言語より前に画像でディープラーニングはその能力をはじめは発揮しましたが、そこで使われるCNNのような階層構造では単に対象物の分類性能や識別性能など特定の限られた部分では人間を超えることができましたが人間のような柔軟性を持たせることが難しかった理由も本書の主張から納得できます。
これは囲碁や将棋に勝つAIも同様で、特定のタスクには強くても柔軟性がなく得意分野以外では何もできないという理由もはっきりします。
いずれも大脳新皮質の構造とは異なっていたのです。
しかし、最近の大規模言語モデルは少なくとも会話を通して様々なタスクをこなすことが出来るように見えます。
著者が言うように現在のLLMは決して大脳新皮質のコラムの集合体のような働きはしていませんし真の意味でのAGIとは距離があるとは思いますが、本書にあるように脳が階層構造で動作していないのと同様LLMがTransformerのアテンションメカニズムにより高次元空間に埋め込まれた空間の距離空間を学習から形作っていると思われます。
そういう意味では生成AIは彼らの言う座標系を構成しているのではないかと思いとても興奮しました。
著者の次なる著作をぜひ読みたいです
個人的にはChatGPTで仕事を効率化することや、会話AIを使って応用アプリを考ることにはあまり興味がありません。
それより人間の脳と同じあるいはそれを超えるような人工的な脳をつくり、そこに人間の脳を接続したり脳の情報を転送したいと思っています。 そして自分と同じように意識を持たせたいと考えています。
それがDeep Learningかもしれませんしもっとほかの大脳新皮質の動作の仕組みから考えられる新しいアーキテクチャかもしれません。
GPT3やGPT4のようなLLMの登場を踏まえて著者らの神経科学の研究が最近の大規模言語モデルやファウンデーションモデルとどのように関係するのか知りたいです。
著者の次の著作を楽しみにしています。
