「ディープラーニングを支える技術２ ニューラルネットワーク最大の謎」 岡野原 大輔 著 を読みました。

ディープラーニングを支える技術〈2〉 ——ニューラルネットワーク最大の謎 Tech × Books plus

以前「ディープラーニングを支える技術　「正解」を導くメカニズム」の書評を書きましたが、今回はその続編である「ディープラーニングを支える技術２　ニューラルネットワーク最大の謎」を読みましたので簡単に感想を書きたいと思います。 今回は前編の内容からさらに発展して最近の話題まで含み、著者が特に今後の技術に期待を寄せている生成モデルや強化学習についての解説、そして将来の発展の方向や課題についても予想されています。

ディープラーニングにおける2つの大きな謎

ディープラーニングのような非常にパラメータの多い非凸関数モデルが、なぜ学習できるのか、なぜ汎化できるのか、普通に考えると不思議に思いますがそこにはディープラーニング特有の特徴があります。 それについて、具体例も交えながら説明されています。

深層生成モデルと強化学習

この二つの章は、著者が今後が期待できる分野をピックアップして、最近の話題まで含めて解説しています。 おそらく、どちらの章もある程度の前提知識がないと理解するのが難しいと思います。

これからのディープラーニングと人工知能

表現学習とタスク学習の分離、そして自己教師あり学習の重要性。 contractive learningやdiffusion modelなどの自己教師あり学習の例や言語モデルにおける例など挙げられています。当然ながらトランスフォーマーに関しての解説は外せません。 そして、最近特に話題になっているFundation Modelと、それを利用してファインチューニングによりタスクを学習するという流れに関する説明があります。 また、システム１とシステム2に関して、将来システム2を作り上げていくためにはどういう要件が必要かといった話題も取り上げられています。

何度も読み返したい

あまり数式も使わず言葉で説明している部分が多く、どちらかというと直感的理解に訴えるような記述が多いのですが、内容をきちんと理解しようと思うと参考文献にあたったり何度も読み返す必要があります。 ほとんど一気に最後まで読み終わりましたが、また時間を少しおいて読み返してみたいです。