「深層学習の原理に迫る 数学の挑戦」 今泉允聡／著 を読みました

深層学習の原理に迫る　数学の挑戦 (岩波科学ライブラリー)

深層学習の大きな謎3つ

ChatGPT、生成AIが大きな話題となっているますが、そこで使われている深層学習にはまだいくつも謎が残されています。 つまりうまく動作する原理がまだよくわかっていないのです。
原理がわからないまま実用上使えるかもしれないと言うことで、どんどん開発が進んでいます。
本書では深層学習が抱える謎のうち代表的な3つにフォーカスを当てて解説しています。
原理の数学的な理解や定式化をすることで、深層学習がはらんでいるいくつもの問題を解決することが可能になります。
具体的に本書で説明されている謎とは以下の3つです。
- なぜ多層が必要なのか？
- 深層学習のネットワークが膨大なパラメータを持つのに適切に動作するのはなぜか？
- なぜパラメータの学習は可能なのか？
これらについて、一つずつ何が問題でそれに関してどのように解釈し、謎の解明にアプローチしているのかを解説しています

なぜ多層が必要なのか？

なぜ多層が必要なのかという疑問に行く前に、数学的に普遍近似定理と呼ばれている次の定理が証明されています。 ”層が２つあるニューラルネットワークは１層あたりのパラメータが十分あれば、どんな連続な関数も表現できる” というものです。
ニューラルネットワークがあらゆる連続関数も2層で表現できるなら多層は必要ないじゃないかというのがここで解説されている謎です。
この謎に関しては数10層のネットワークがデータの複雑な特徴構造をとらえたり近似誤差レートの改善に寄与することは解明されていますが、それでも100層を超えるようなネットワークの意義は十分には解明されていません。
これを解明するにはより精密な数学的議論が必要であると著者は述べています。

膨大なパラメータ数の謎

一般に機械学習においてはパラメータ数が多いと過学習をおこすという問題があります。
深層学習では過適合を起こさずに、パラメータ数が増えるほど性能が向上するという現象が観測されています。
本書ではこの過適合に関していくつかの学説が紹介されていて、現在活発に研究化されているということが分かります。

なぜパラメータの学習ができるのか

深層学習の学習では勾配降下法という手法が使用されていますが、複雑形状の損失関数に対してなぜ勾配降下法が有効に働いているのかがよくわかっていません。
これに対して、深層学習のパラメータ数を増やすことで勾配降下法で損失関数を最小にするパラメータに到達できるということが数学的に証明されています。
ではこの問題は数学的に解決されたのかというと、単に手がかりとなるだけでまだまだ謎は多く残されていると書かれています。

深層学習の謎へのアプローチ

本書では現在話題になっているAI技術の基盤である深層学習が持つ謎を丁寧に解説し、その謎がなぜ”謎”なのかと言うことをクリアにしています。
そのうえで、様々な数学的なアプローチを解説しそれでもまだ解明されていない部分が多くあることを説明しています。
タイトルに数学の挑戦とありますが、数式を使わずわかりやすくかいてありますので深層学習の研究者だけでなくエンジニアや一般の人にも強くお勧めします。
深層学習について知識がある方ならだれでも理解できるように平易に書いてあります。

「多様性の科学 画一的で凋落する組織、複数の視点で問題を解決する組織」 マシュー・サイド／著 を読みました

多様性の科学

多様性がなぜ必要か

職場に限らずあらゆる組織で多様性の重要性が声高に言われていますがそこには科学的に合理的な理由があると言うことを人為的理由による航空機事故や登山隊の事故の実例をあげながら解説しています。
目的が明確でしかも一つだけならその分野における天才が一人いればそれで事足ります。
100メートル走を考えれば多様性は関係なく１００メートルをとにかく早く走れる人がいればそれで十分です。
しかし、いま世の中にない新しい技術を生み出すことを考えるとそれでいいのでしょうか？
天才的な技術者だけが集まって魅力的で役に立つ新しい技術が生まれるでしょうか？
本書ではそれは難しいと述べています。

複雑で一筋縄ではいかない問題の解決には多様性が必要なのです。

会議の多様性

たいていの会議は多様で自由な発言が許されているように見えてそうとは言えないと指摘します。
日本企業の会議にありがちなのですが、自由に何でも発言できるように形式的にはなっていても、実際にはたいていの会議が機能不全に陥っており参加者の多くが発言せず地位の格差で方向性が決まってしまっています。
自由に発言しているように見えて、みな自分の言いたいことを言わずリーダーが聞きたいであろうことを言う。
その結果、会議で重要な情報を共有し損なう。
つまり多様性を高めるには威圧や脅し（実際はこのように露骨ではなく職位や経験、人脈などを通して威圧や脅しの構造が見えなくなっている）ではなく、能力により周りから尊敬を集めるような人がリーダーにつくことが多様性のある組織には必要だそうです。

AIと多様性の関係

本書の最終章に非常に示唆に富むことが書かれていました。
火というテクノロジーの発見が、食べ物を加熱することを可能にし、人類の胃腸などの消化器官をコンパクト変化させ、その結果消化器官に回すエネルギーを脳の成長に使えるようになりました。
では、今爆発的に進化しているAIテクノロジーは人類の進化に何をもたらすでしょうか?
それは、誰もが気づき始めているように脳そのものを変化させることになるでしょう。
AIが知的労働の一部を奪うというようなことだけでなく、人間という存在、高度に発達した前頭葉という人間だけが持つ内臓の一部に対しても大きな影響を及ぼし世代が進むごとに脳はAIがあることを前提とした形に変化していくことでしょう。

私の個人的な意見ですが、人類の知性が個人だけでなく集団の多様性の上になりたっているなら、AIがその多様性の一翼を担っていくだろうと思います。
AIが大きな一つの脳のようにふるまうことで人類全体の脳を接続し、文化や新しい発見を素早くそして深く人類全体に共有するプラットフォームになる可能性があるのではないかと思います。

多様性を保つために気を付けること

• 画一化した集団内でのエコーチェンバー現象
• 平均値の落とし穴
• 多様性の力とそれを軽視する危険性
• 集団脳、集合知、心理的安全性、融合のイノベーションを重視する
• 標準化から個人化への流れを常に意識する
• 無意識のバイアスを取り除く
• 認知の多様性を最大限に広げる
• 与える姿勢の重要性

「半導体産業のすべて 世界の先端企業から日本メーカーの展望まで」 菊地 正典／著 を読みました

半導体産業のすべて 世界の先端企業から日本メーカーの展望まで

昨日までの3連休の読書として以前からタイトルが気になっていた本を読みました。

最近はニュースでも半導体という言葉を聞かない日はないです。
半導体が戦略物資であり、先端半導体技術を握ることが世界を支配できる力になると言われています。
日本も将来の最先端半導体製造技術を得るべく、今までの遅れを取り戻すべくようやく最近政府も動き始めました。
2nm半導体の量産が見えて来たとかEUV技術がと言いますが、いったいそれは何を意味するのか？
半導体を使った素子はどのように作成するのか、そこにはどのような技術が必要なのか、日々OS越しにPCを触っているだけではブラックボックスになっている部分を本書は概観することができます。

しかも製造の各段階で具体的にどのような企業の製品だったり技術が必要でそれが何を意味しているのかを詳しく知ることが出来ます。
例えば装置メーカーとしての東京エレクトロンがどういう製造装置を扱っていて、売り上げ規模はどの程度でライバルにはどのような会社があるのかが分かります。

日本は半導体製造そのものは世界でかなり遅れをとってしまっていますが、製造装置や素材関連では検討していると言われています。
本書でもそれについて言及があり、絶対値としてはこの10年右肩上がりに伸びていますが世界シェアで見ると2012年をピークに下がり続けていると書かれていて将来的に製造装置や素材でも決して万全ではなくこのままでは危ういのではないかと冷静に分析されています。

最終章では専門家として著者が日本の半導体戦略に対して危機感とともに有意義な提案もなされていました。
半導体は総合力がものをいう業界です、日本の得意なニッチな職人技ではなく交渉力や迅速かつ大胆な決断と未来を見据える力とリスクをとれる強力なリーダーシップがが必要とされています。
果たして日本は半導体で再び世界に浮上することができるでしょうか、今後が楽しみです。

「ＬＩＳＴＥＮ」 ケイト・マーフィ／著 を読みました

LISTEN――知性豊かで創造力がある人になれる

雨の日はちょっと厚めの本を持ってコーヒーを飲みながら一日中読書って言うのをやってみました。
人から話を聞くと言うことはそれなりに技術や訓練が必要で容易なことではないです。
そのことを改めて考えさせられる書籍でした。
本書では以下のような話を聴くということにフォーカスした様々な話題がかかれていました。

• 人の話を聴くことがなぜ重要か
• どうすれば聴けるようになるのか
• 聴くにはどういう態度でどのような場所がふさわしいか
• 会話する相手は誰か
• ネガティブケイパビリティとは
• 非言語も聴く
• 不安感と聴くこと・話すことの関係
• 話をコントロールしようとは思わないこと
• 聞きたいようにしか聞かない人は問題を抱える
• ずらす対応と受け止める対応
• スマートフォンはいらない
• 家族の食卓での会話の重要性

他にも聴くことに関して多くトピックがとりあげられていて分厚い本になっています。
1つの話題が2ページ程度に細かく分割されているのですらすら隙間時間にでも読めます。
日本人はアメリカ人ほど人の会話にかぶせて自己主張をするような会話をする人は少ないようにみられますので、本書で書かれている内容は日本人にはあまり当てはまらないと思う部分もあります。

数学セミナー2023年4月号読みました

数学セミナー2023年4月号　通巻738号◇【特集】数学とのつきあい方

数学セミナーは毎年4月号は数学科に入った新入生向けの数学とどう向き合うかというような特集が組まれます。
今年の4月号も”数学とのつきあい方”という特集が組まれていて、数学に何らかの形でかかわって仕事をしている人の話が面白かったです。
大学の数学の研究者だけでなく、一旦企業に就職して数学の研究者を目指している人や保険業界の人、経済学の研究者など多彩な人の数学との”つきあい方”を知ることが出来、さらに数学と関係なくその人の人生観も知ることができとても興味深かったです。
数学は専門家だけのものでなく、趣味として一人でも仲間と一緒にでも学ぶことが出来る、そこがいいところだと改めて感じました。

数学のことを考えていると不思議と他の嫌なことも忘れられ心が落ち着きます。
数弱の私でもゆっくりマイペースで楽しむことが出来ます。
今日もぼちぼち楽しむことにします。

OpenAI, MS, Googleの3社のサービスをブラウザで試して比較してみました

はじめに

ChatGPTが出てから対話型AIを日々使って便利なツールとして使い方がいろいろわかってきました。
現時点でGoogleのBardも日本語が使えるようになったので、日本語OKのLLMを使った対話型AIのサービスをカジュアルに使ってみた感想です。
OpenAI, MS, Googleの3社のサービスをブラウザで試したときの使用感をレビューします。

ChatGPT (非課金, GPT3.5を使用):  https://chat.openai.com/

• 過去の会話トピックが残っているので続きの会話をするときに便利

• ユーザーが多いせいかかなり重くて質問の答えがなかなかかえって来ないことがある。回答は少しづつぱらぱらと出てくる

• いわゆる”対話”をしているような自然な文章を出してくるが、間違いもかなりある

• おすすめのお店や旅行のプランなど、かなりの確率でうそを答えてくることがあるので別途確認のために検索が必要

  • 古い学習データを使っているためというのも一つの理由ですが、間違え方を見ていると理由はそれだけではなさそう

Microsoft Bing:

• 対話というより検索エンジンの要素が強く、ChatGPTとは方向性が違う

• 質問に対して一回で会話が終了するような回答を出してくる

  • 続けて質問するための候補を3つ出してくれる
    • この機能は楽て便利なので個人的に多用している

• 回答の根拠になったサイトのリンクも出してくれる。

• 質問に関係する画像も検索結果として出してくれる。

• 画像のリンク先もきちんと提示してくれる。

Google Bard (LaMDA):

• 今回試した３つの中では回答が出てくるのが一番早い。回答は一気に全体が表示される。

  • ユーザーがまだ少ないからかも

• ChatGPTと同様対話形式ですがChatGPTほど饒舌ではないです（回答がシンプル）

  • この方が知りたい情報を知れてわかりやすいとも言えるかもしれません

• ChatGPTと同様間違いが多い。

  • おすすめのスポットやお店を聞くと存在しない場所や、お店を提案してくる

• 間違えてますよと指摘すると、あっさりとさっきのは誤りでしたと回答するが指摘しないとそのままずっと間違えたままです。

  • ChatGPTと同様

• 現在はまだ検索エンジンとの連携がなされていない。

  • Gmailとは連携している
  • 近い将来検索エンジンと連携しそう

• 最新のニュースにも対応している

  • 例えば、先日の銀座の時計店での強盗のことを聞くと詳細を教えてくれる。

まとめ

会話を弾ませたりプロンプトエンジニアリングを工夫していろいろ引き出したいならChatGPT、便利な検索エンジンとして使いたいならMicrosoft Bing、最新のニュースも含めて調べたいならGoogle Bardという感じです。
まだどれも実験段階で日々進化していますので、上記のような状況もどんどん変化していくと思います。

「数学ガール」結城浩著 を読みました

数学ガール

数学ガールシリーズはたくさん出ていますが、これはおそらく初代の数学ガールだと思います。
内容はおそらく高校生でもゆっくり式を追っていけば理解できる程度のレベル感です。
それにしても一般向け数学書でこれほどまでに母関数について説明している書籍が今まであったでしょうか。
生成母関数は単なる便利なツールとして使ってきましたが改めてその便利さを再発見しました。
すらすらと読めますができればノートと鉛筆を用意して自分でも計算しながら読み進めるとさらに楽しいのでお勧めです。
他の数学ガールシリーズも読みたくなりました。