Stable DiffusionからNovelAIのリークまでの顛末がよくわかる記事

2022年10月8日時点での話で今後画像生成系の話題は信じられないスピードで変化していくと思われますが現時点でのとても分かりやすいまとめでしたのでリンクを貼ります。
"NovelAIのリークで何が終わったのか？"
soysoftware.sakura.ne.jp

「脳と人工知能をつないだら、人間の能力はどこまで拡張できるのか 脳ＡＩ融合の最前線」 紺野大地, 池谷裕二／著 を読みました。

脳と人工知能をつないだら、人間の能力はどこまで拡張できるのか　脳ＡＩ融合の最前線

お盆休み読書第2弾です。

脳と人工知能

人工知能の最近の急速な進歩には目を見張るものがあります。
特に深層学習は脳の神経細胞の動きをまねて作られたと言われています。
実際にはコンピュータ上でのプログラムにすぎないのですが、従来の機械学習の常識とは異なるような振る舞いをすることが分かってきています。
先日紹介した岡野原さんの2冊の書籍にそのあたりのことは詳しく書いてあります。
ディープラーニングを支える技術　「正解」を導くメカニズム
ディープラーニングを支える技術　「正解」を導くメカニズム 2
一方本書は、脳と人工知能の接続や脳そのものの仕組みの解明について、著者らの研究の現場でどのようなことを考えているのかが記述されています。
私は、脳の意識という部分に以前から興味があり、意識を持つような人工的な装置（あえてコンピュータとは言いません）は可能であると思っています。
というのも、脳も物質でできているのですから脳と同じような動作をする人工的な装置が不可能である理由はないと考えられるからです。
本書にもそのような脳と意識の関係について紹介されていて、興味深かったです。著者も意識の研究をしてみたいと書いていますし、今後ディープラーニングなど新しい技術を使って、意識の研究がさらに発展するのではないかと期待が持てます。

脳の研究の難しさ

脳の研究をすると一口言っても、脳、特に人の脳を使う研究は非常に難しいことは想像に難くないです。
そうした中でも、イーロンマスク率いるNeuralinkが徐々に可能性を広げていっていることや、Neuralinkとは異なり非侵襲的に脳の活動を観察したりまた脳に情報を書き込む手段があることを紹介しています。
しかし個人的にはどの手法も非常に多さばっぱで解像度が粗すぎて、脳の動作の詳細、例えばコンピュータでいう所のロジックレベルで見えているわけではなく、非常にもどかしく感じます。
とはいえ、人の脳に自由に電極を指したり解剖しながら動作を確認するわけにもいかないのでそこは難しいところです。
その困難に対しても今後の技術の進歩で解決できるかもしれないと書かれています。

脳とAI融合の未来

最後の章では、脳とAIの融合による未来についてあるいは脳と脳をコンピュータを介して接続すると言ったSF小説の世界のような話が現実の研究として考えられていると書いています。
さらに、現在の人が理解する科学が将来人工知能が人に理解できない形で自然を理解するように変わるかもしれないという科学研究のありかたにも話が及んでいます。
個人的には人がより少ない原理だけから自然を理解するという営みは、まだ説明できていない新たな現象を説明するという大きな働きがありそれは高次元の科学に勝る部分ではないかと思うので特に物理学のような基礎科学においては統一理論を探索するという営みは 依然重要な意味が残り続けると思いました。
例えば、現状では観測が非常に困難な別の宇宙や宇宙が始まる以前に何があったかは観測結果がないですので人工知能が記述するような高次元の科学では扱うことが無理ではないかと思います。
とはいえ、深層学習で場の理論を記述できるというような話もありますし将来は深層学習で統一理論を記述できるような時代が来るのかもしれないと思うとそれもまた楽しみです。

「イノベーションはなぜ途絶えたか -科学立国日本の危機」山口栄一／著 を読みました。

イノベーションはなぜ途絶えたか: 科学立国日本の危機 (ちくま新書1222)

お盆休みの読書です。

本書は前半部分のイノベーションの話と後半の科学リテラシーやトランスサイエンスの話に分かれます。
しかし、それらは別々のテーマとして書かれているのではなく、それらを貫く考え方として科学の発展には、著者の言う昼間の科学と、夜の科学がありそれらを自由に行き来することが重要だと論じている。

昼間の科学とは、知の具現化による価値の向上で企業では開発業務とも呼ばれすでに知られた科学的知識を使って改良したり改善したりして経済的価値をあげる行為を言います。
一方の夜の科学は、知の創造や知の越境と言われる既存の枠組みを超えた知の融合や創発による新しい知の創造と言った主に基礎科学の分野で行われているような研究活動のことを指しています。
企業のイノベーションが衰退してしまった理由を、中央研究所の廃止や成果だけを求める企業研究のありかたの変化に伴うこの知の創造や越境が出来なくなったことに起因すると論じています。

目の前の技術の改良や他から持ってきた技術や研究成果の組み合わせによる研究で目の前の山に登るような現在の企業のイノベーションでは、他の山の存在や、されに挑戦的な未来の革新的技術には到達できないと述べています。
一例としてシャープをあげてます。シャープは液晶での成功から液晶という山以外は見えなくなってしまい結局自滅してしまいました。
昼の科学だけに頼り新しいイノベーションが生まれなくなった失敗例です。

企業のR&Dに対して何が必要かというヒントが盛りだくさんの本書であるが、論文数が右肩下がりで衰退しつつある日本の科学に対する提言としても一読の価値があると感じました。
真のイノベーションとは何かということを考えさせられる一冊でした。

「Moonshot ファイザー不可能を可能にする9か月間の闘いの内幕」アルバート・ブーラ／著 を読みました。

Moonshot ファイザー 不可能を可能にする9か月間の闘いの内幕

Covid19は今日現在も日本で猛威を振るっています。
ただ、2年前と違い死につながる怖い病気という意識は薄れていると思います。
その大きな理由の一つにワクチンがあります。
ファイザーとモデルナが供給するmRNAワクチンは信じられないような短期間で開発そして、大量生産に成功し世界中へと届けられました。
その過程をファイザーのCEOであるブーラさんが当時の様子を詳細に描写しています。
特に第5章の治験結果の発表のところは涙なしには読めないほど感動しました。
まさに科学の勝利の瞬間を、ブーラさんは隠すことなく読者に公開してくれています。
読み始めたら止まらなくて、一気に最後まで読んでしまいました。

そして本書を読み終えて個人的に感じたMoonshotに必要な要件とは、Moonshotにはだれもが共感する大きな意味がないといけないということです。
ファイザーの場合には、世界中の人々の命を救う、しかもそのために残された時間がない。
「時間は命」これが今回のMoonshotの大義名分でした。すべては究極的にはこの一言に集約されていました。
安全で効果の高いワクチン、しかも世界中の何十億という人々が同じ品質のワクチンを平等に接種できるようにするというとてつもないMoonShotを短期間で成功させることができた理由はそこにあったのではないかと思います。
ただ命を救いたい、人々の健康を守りたい、この思いがMoonshotを成功に導いた理由でしょう。
そして、その思いにひたすら忠実であったＣＥＯのブーラさんの言葉や行動が優秀な社員を一つにまとめて、Moonshotを成功させた最も大きな理由ではないかと、本書を読んで感じました。

きっと今日もファイザーの研究者たちはコロナの有効な治療薬の開発のために日夜研究を進め、科学の勝利のために議論を戦わせているのだろうと想像しながら本書を閉じました。

「ディープラーニングを支える技術２ ニューラルネットワーク最大の謎」 岡野原 大輔 著 を読みました。

ディープラーニングを支える技術〈2〉 ——ニューラルネットワーク最大の謎 Tech × Books plus

以前「ディープラーニングを支える技術　「正解」を導くメカニズム」の書評を書きましたが、今回はその続編である「ディープラーニングを支える技術２　ニューラルネットワーク最大の謎」を読みましたので簡単に感想を書きたいと思います。 今回は前編の内容からさらに発展して最近の話題まで含み、著者が特に今後の技術に期待を寄せている生成モデルや強化学習についての解説、そして将来の発展の方向や課題についても予想されています。

ディープラーニングにおける2つの大きな謎

ディープラーニングのような非常にパラメータの多い非凸関数モデルが、なぜ学習できるのか、なぜ汎化できるのか、普通に考えると不思議に思いますがそこにはディープラーニング特有の特徴があります。 それについて、具体例も交えながら説明されています。

深層生成モデルと強化学習

この二つの章は、著者が今後が期待できる分野をピックアップして、最近の話題まで含めて解説しています。 おそらく、どちらの章もある程度の前提知識がないと理解するのが難しいと思います。

これからのディープラーニングと人工知能

表現学習とタスク学習の分離、そして自己教師あり学習の重要性。 contractive learningやdiffusion modelなどの自己教師あり学習の例や言語モデルにおける例など挙げられています。当然ながらトランスフォーマーに関しての解説は外せません。 そして、最近特に話題になっているFundation Modelと、それを利用してファインチューニングによりタスクを学習するという流れに関する説明があります。 また、システム１とシステム2に関して、将来システム2を作り上げていくためにはどういう要件が必要かといった話題も取り上げられています。

何度も読み返したい

あまり数式も使わず言葉で説明している部分が多く、どちらかというと直感的理解に訴えるような記述が多いのですが、内容をきちんと理解しようと思うと参考文献にあたったり何度も読み返す必要があります。 ほとんど一気に最後まで読み終わりましたが、また時間を少しおいて読み返してみたいです。

PCを購入するときに見るサイト

CPUやGPUの性能を比較が分かりやすいサイトです。
PCの購入、組み立てを考えた時に見るとよいです。
pcfreebook.com

「ディープラーニングを支える技術 「正解」を導くメカニズム」 岡野原 大輔 著 を読みました。

ディープラーニングを支える技術 ——「正解」を導くメカニズム[技術基礎] (Tech × Books plus)

機械学習、特にディープラーニングの分野はとても変化が早く、もてはやされていた技術でもすぐに使われなくなったり、逆に論文で発表された直後にすぐに話題になりあちこちで使われたりします。
そういう進歩の激しい分野では本という形では技術を伝えるのが難しいと感じます。
本書は最近の話題も盛り込みながら、その中でも評価の固まりつつある技術を最近のものも含めもりだくさんに解説しています。
本書の対象は非常に幅広く、機械学習や深層学習について一通り知っているがそれぞれの技術の詳細はよくわからないという人から、実務で機械学習を日々使っておられる方の復習や頭の整理にも最適です。
数式を少なくして直感的に技術の本質をなるべく正確に伝えようとしています。
また、初心者のためにAppendixで機械学習で基礎となる数学について解説もあります。

他の機械学習の本ではあまり見かけないような記述

2.7節の確率モデルとしての機械学習は非常にわかりやすいです。
わずか5ページほどですが最尤推定、MAP推定、ベイズ推定などの機械学習の枠組みでのとらえ方についてこんな簡潔に説明してあるのは初めてです。
また、誤差逆伝搬における合成関数の微分に関して、それが動的計画法で高速化できるという記述も他書ではあまり見かけません。

深層学習の発展に寄与した重要技術の解説

深層学習で大量のパラメータを学習しながら、過学習を防ぎ学習が進むメカニズムとそれを可能にする技術、層を深くしても勾配消失が起きないメカニズム、そしてあえて接続を絞ることで汎化性と表現力の向上させる仕組みが開設されています。 それぞれ、正規化、スキップ接続、Attention機構と呼ばれていて日々当たり前のように使われていますが、その背景や様々なバリエーションについて歴史的経緯も踏まえて解説されています。

続編も楽しみです

手元に置いて暇なときにパラパラと読めるように細かい章に分かれているので読みやすいです。
続編ももう出版されているようですし読むのが楽しみです。