「ディープラーニングを支える技術　「正解」を導くメカニズム」　岡野原大輔著を読みました。

ディープラーニングを支える技術 ——「正解」を導くメカニズム[技術基礎] (Tech × Books plus)

機械学習、特にディープラーニングの分野はとても変化が早く、もてはやされていた技術でもすぐに使われなくなったり、逆に論文で発表された直後にすぐに話題になりあちこちで使われたりします。
そういう進歩の激しい分野では本という形では技術を伝えるのが難しいと感じます。
本書は最近の話題も盛り込みながら、その中でも評価の固まりつつある技術を最近のものも含めもりだくさんに解説しています。
本書の対象は非常に幅広く、機械学習や深層学習について一通り知っているがそれぞれの技術の詳細はよくわからないという人から、実務で機械学習を日々使っておられる方の復習や頭の整理にも最適です。
数式を少なくして直感的に技術の本質をなるべく正確に伝えようとしています。
また、初心者のためにAppendixで機械学習で基礎となる数学について解説もあります。

他の機械学習の本ではあまり見かけないような記述

2.7節の確率モデルとしての機械学習は非常にわかりやすいです。
わずか5ページほどですが最尤推定、MAP推定、ベイズ推定などの機械学習の枠組みでのとらえ方についてこんな簡潔に説明してあるのは初めてです。
また、誤差逆伝搬における合成関数の微分に関して、それが動的計画法で高速化できるという記述も他書ではあまり見かけません。

深層学習の発展に寄与した重要技術の解説

深層学習で大量のパラメータを学習しながら、過学習を防ぎ学習が進むメカニズムとそれを可能にする技術、層を深くしても勾配消失が起きないメカニズム、そしてあえて接続を絞ることで汎化性と表現力の向上させる仕組みが開設されています。それぞれ、正規化、スキップ接続、Attention機構と呼ばれていて日々当たり前のように使われていますが、その背景や様々なバリエーションについて歴史的経緯も踏まえて解説されています。