「脳の大統一理論 自由エネルギー原理とはなにか」 乾 敏郎、阪口 豊／著 岩波科学ライブラリー を読みました

脳の大統一理論　自由エネルギー原理とはなにか (岩波科学ライブラリー)

勤労感謝の日の休日読書です。
結構むつかしめの本ですが頑張って読むと得るものはあります。

壮大なタイトル

大統一理論と言えば理論物理では重力を除くすべての力を統一的に説明する理論とされていますが、それと同様本書では脳の情報処理をただ一つの原理に基づいて説明する試みを紹介しています。

自由エネルギー原理

脳の統一理論とはなにかといえば、2006年ころからイギリスのカール・フリストンという研究者が提唱した脳の情報処理原理を説明する一般的理論「自由エネルギー原理」です。

自由エネルギー原理とは何か

非常に大雑把に言ってしまえば、脳の中で建てたモデルに基づく状態と、感覚信号などの外部から得られた状態の差のことです。 脳はこの差分をできるだけ少なくするという原理に基づいて情報処理を行っているという主張が自由エネルギー原理です。 知覚に関しては例えば網膜に映ったコップの２次元像と脳の中のコップを見るというモデルによる結果の差を少なくするように脳の中のコップを変化させることで外界を正確に知覚できるということです。 運動に関しては能動的に筋肉を動かす信号を出すことで、実際の筋肉や外界の信号との差分である自由エネルギーを最小化する成果を能動的に観測しに行くと考えれば知覚と同様の枠組みで脳の動作を理解できるそうです。 これが、能動的推論という考え方です。

脳の機能に基づく疾患も説明できる

自分でくすぐってもくすぐったくないのはなぜかや、コップをなぜつかむことができるのかという説明だけでなく、自由エネルギー原理は様々な疾患の症状も説明できるようです。 例えば統合失調症や自閉症の人の行動が自由エネルギー原理に基づいて説明されています。 本書によれば脳内物質のドーパミンの役割もこれまで考えられていたものと異なり、信号の精度を決める役割を担っているそうです。 ドーパミンの減少や過剰で生じる疾患の治療にも影響があるのではないかと思いました。

AIやロボティクスへの応用

ロボットの行動やAIの学習に対して本書で説明されているような自由エネルギー原理に基づく手法を応用すれば、もっと人に近い行動や学習ができる機械が作れるのではないかと思いました。 本書ではそこまでの記述はなかったですが、気になります。

5章の感情と内部状態の説明には理解しにくい部分も多々ありました。
次に進むにはもっと専門的な内容に踏み込む必要がありそうですが、いままで聞いたことのなかった脳の大統一理論、そして自由エネルギー原理について少なくとも何を言っているのかという知識を得ることができます。

「生成AI」 ChatGPTを支える技術はどのようにビジネスを変え、人間の創造性を揺るがすのか？ 小林雅一／著 を読みました

生成ＡＩ――「ChatGPT」を支える技術はどのようにビジネスを変え、人間の創造性を揺るがすのか？

三連休に読んでみました。

一般の人向けの生成AIの解説書

生成AIについてエンジニアや研究者向けの記事や文章は普段からよく読むのですが、本屋さんのいわゆるビジネス書の棚に並ぶような書籍は変に物事を大げさにとらえたり、危機感をあおっていたり逆にすごい未来が来るというような極端に人を扇動するような内容や事実ではない内容が書かれている本も見受けられるのでいままであえて避けてきました。

それでも手に取った理由

じゃあなんでこの本を読んだのかと言えば、特に理由はないのですが家族が持っていて著者が物理学の修士出身だったのでそれなら最低限の科学リテラシーはあるに違いないと判断したからです。

LLMをはじめとした生成AIの一般書としておすすめします

日々進歩する生成AI技術ですので書籍という形をとる限り若干内容が古くなってしまうのはやむをえないですが、本書はLLMの出版時点（２０２３年７月）最新のLLMや画像生成AIの現状をくまなく紹介しこの分野を概観するのにとてもよい一般書でした。
文系のビジネスマンの方でも詰まることなくすらすらと読むことができ、最後まで読めばChatGPTってどういう経緯で開発されたのか？を知ることができます。

「半導体戦争 世界最重要テクノロジーをめぐる国家間の攻防」 クリス・ミラー／著 を読みました

半導体戦争 世界最重要テクノロジーをめぐる国家間の攻防

週末の読書として前から気になっていた本書をようやく手にしました。 トランジスターの発明から、抵抗やキャパシターとともにそれらを回路パターンにしてシリコンの上に集積していく技術、言ってしまえばそれだけのことなのですがそれがそれだけのことではないのが半導体というものです。
その半導体が現在では現代の社会の根本を支え文明を支え、戦争の行方、国家の存続にまで影響を与える、重要な戦略物資になっています。
そしてアメリカや日本、欧米諸国と中国がその製造技術をめぐって激しい戦いを繰り広げています。
本書を読めばごく初期のトランジスターの発明から集積回路の発明、そしてその過程であれわれるキーマンと関連する企業について歴史を追って理解できます。
今話題の半導体について知りたい方は手に取ることをお勧めします。
特に理系の大学に進もうと思っている高校生や理系学部生におすすめします。

「大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界」 岡野原大輔 著 を読みました

大規模言語モデルは新たな知能か　ＣｈａｔＧＰＴが変えた世界 (岩波科学ライブラリー)

岡野原さんの大規模言語モデルに関する一般の人向けの解説書です。
ChatGPTが登場してからまだそれほど年月が経っていませんがそのインパクトは大きく徐々に社会の中で使われ始めているように感じます。
本書はそのChatGPTの技術の根幹をなす大規模言語モデルについての解説書です。
何ができるのか、今までの翻訳や対話ソフトと何が異なるのか、なぜ今までの言語モデルと異なり圧倒的な性能を出すことができるのか？といった疑問に対してわかりやすく解説しています。
動作原理についても数式を使わずにできるだけかみ砕いて理解できるようになっていますので、本書を読めばChatGPTの仕組みを大まかに理解できます。
コンパクトでページ数も多くないですので、ちょっと気になるという動機でも簡単に読み終わることができます。
私が本書で特に気になったのは、モデルを大きくするとそれまで解けなかった問題が解けるようになる創発という現象です。
著者はこの理由として二つの仮説を紹介しています。１つめが宝くじ仮説、もう一つが構成属性文法仮説です。
また、注意機構が短期記憶、MLPブロックが長期記憶に関係しているという記述も印象に残りました。

著者のこの分野への深い理解と多くの知識を凝縮した本書は言語モデルに興味があるすべての人にとって必読であると感じました。

「脳・心・人工知能 数理で脳を解き明かす」 甘利俊一著を読みました

脳・心・人工知能 数理で脳を解き明かす (ブルーバックス)

８０代になっても精力的に研究を行い論文を発表されている甘利先生は本当に尊敬に値する素晴らしい研究者

著者の甘利先生は現在のニューラルネットワークの基礎となる理論的なバックグラウンドとなる重要な仕事を多くした方として有名です。
数理脳科学、情報幾何学、神経場の理論、統計神経力学などを切り開き、脳の情報処理メカニズムをヒントに現在のディープラーニングブームの基礎となる重要な発見を数多くしてきました。
身近なところではニューラルネットワークの学習時に用いられる逆伝搬に基づく確率的勾配降下法のアイデアも甘利先生のものです。

ディープラーニングに携わっていたり興味を持っている方は必読の書籍

2019年にそれまでの大きな業績が認められて文化勲章を受章されましたが、これもまた当然の受賞であると思います。
その甘利先生自身が自分の研究の歴史を振り返りニューラルネットワークに関する重要な発見がいかになされたのかが簡単な数式とともにわかりやすく書かれています。
本書を読んでいると甘利先生の講演を目の前で聞いてるような気分になれます。
いま機械学習やディープラーニングに携わっていたり興味を持っている方は必読の書籍です。

連想記憶理論を提唱

脳の記憶のメカニズムとしての多安定と発信、時系列、カオス現象を使った連想記憶理論を提唱し、本書の中でその発見の経緯とわかりやすい解説があります。
ホップフィールドモデルと呼ばれている海馬での記憶のモデルを最初に提唱した人は甘利さんなのです！（むしろホップフィールドモデルを超えるモデルを提唱している）
[海馬の記憶のメカニズム: 情報の関連性を記憶する]
海馬ではコンピュータと違い記憶すべきパターンの関係性をシナプスの重みとして覚え、複数の記憶はその関係性の重ね合わせで保存している。
従って、思い出すときは重ね合わせの中からダイナミクスを利用して安定平衡状態にたどり着くことで思い出したいパターンを得る。
つまりコンピュータように記憶しているのではなく、記憶（安定平衡状態）を引き出すためのダイナミクスをニューロンの重みとして保存し、記憶の復元はそのダイナミクスをめぐることで目的の平衡安定性に到達するそうです。

人工知能は人間を超えるのか

６章、7章では人工知能の未来について書かれていて、この章が一番面白かったです。 知能には多くの面があり、計算能力や記憶力ではすでにコンピュータが人間をはるかに超えています。
では、人間のように心があり人間のように判断して行動できる人工知能はつくれるでしょうか？
シンギュラリティーは来るのでしょうか？
甘利先生はシンギュラリティーが来るというシナリオを信じないと書いています。
人間は人工知能をパートナーとして使いこなし新しい文明を発展させていくと予想していますが、人間の愚かさの部分がに対して鋭い指摘と危機感を表明しています。
「人が金銭に支配され、同時にネットを通じて情報に支配されるほうが、私は恐ろしい。」と書かれ人工知能がそのための手段となり文明崩壊の危機の可能性があると述べています。
技術の問題ではなく文明自体の問題であると述べています。
意識とは共同作業の中で自分が何をするか人に伝えるためには、自分の意図を自分が知っていなければならない、それが意識であると著者は書いています。
そして意識の統合情報理論に話は移っていきます。
トノーニの有名な著書は私も読みたいと思い積読していますが近い将来読みます。

自由意志は存在するのか

私は物理学を研究していたこともあり、古典論の原理で動作する脳はニュートン力学的な決定論的法則に支配されていると考えていますから自由意志というものは幻想であり存在しなという立場です。
物理学でも量子論のように決定論の範疇では記述できない理論が自然を支配していますが、それを根拠に自由意志があるというのはいかにも矮小な議論だと述べられています。
決定論的な方程式からもカオスが生じることは知られていますが、そこからなぜ自由意志が生じるかも明らかではないです。
この議論には意識と無意識の問題が絡んでおり、結局著者はこれは答えが出ない不良設定問題だと言っています。
つまり問題の問いかけ方が悪いということです。
情報のパターン表記と記号表現の立場に立って見れば、前者は決定論的であるが後者には自由意志のようなものが生じると言っています。
両者の統合を人工知能が成し遂げることができれば新たな躍進があると期待できる。

私もそういう躍進に少しでも貢献できるように日々研究を続けようと思います。

日経サイエンス 2023年8月号を読みました

日経サイエンス2023年8月号 [雑誌]

以下の二つの特集が面白そうなので読んでみました。

特集：数学する脳とAI

特集2：核融合の現在地

AIが知能を持つことが出来るかということに興味があります。
人間の脳も物質であり、物質からできてる脳が知能を持っているのだから人間の脳以外が知能を持つことは科学的に不可能ではないと思います。
しかし現在のコンピュータで深層学習をベースに構築されているAIと呼ばれているものに知能があるかと言われるとそれはないかなという印象です。
この号の特集でその点について数学をテーマに面白い特集が組まれていました。

核融合に関しては夢の技術やもうすぐ実用化するような報道がされることがありますが、実際には商業ベースに乗るような実用的な発電まではまだまだ超えなければいけない高いハードルがいくつもあり私が生きている間には実現は難しそうだなという印象です。

nvidia-smiを使ったGPUのパワー制限の設定方法

nvidia-smiを使って簡単にGPUのパワーを制限する方法が以下のブログにありました。
実験してみると確かに、電力下がりGPU温度も下がりました。
blog.amedama.jp