しんさんのブログ

科学や技術のこと読書のことなど

機械学習

「大規模言語モデルは新たな知能か ChatGPTが変えた世界」 岡野原大輔 著 を読みました

大規模言語モデルは新たな知能か ChatGPTが変えた世界 (岩波科学ライブラリー)作者:岡野原 大輔岩波書店Amazon 岡野原さんの大規模言語モデルに関する一般の人向けの解説書です。 ChatGPTが登場してからまだそれほど年月が経っていませんがそのインパ…

「深層学習の原理に迫る 数学の挑戦」 今泉允聡/著 を読みました

深層学習の原理に迫る 数学の挑戦 (岩波科学ライブラリー)作者:今泉 允聡岩波書店Amazon 深層学習の大きな謎3つ ChatGPT、生成AIが大きな話題となっているますが、そこで使われている深層学習にはまだいくつも謎が残されています。 つまりうまく動作する原理…

Anacondaからコンテナ+依存性管理ツールへ、検討中

自分の機械学習プロジェクトは今はAnacondaの仮想環境で完全に切り分けていますがこのままだとディスク領域が無限に必要になり管理も複雑になりつつありどうしようかなと考えています。 まだ検討中ですが、以下の記事が参考になりそうでした。 Kaggle Notebo…

Tensorflow, Kerasでよく使うセーブデータ形式

HDF5 多分一番よくつかわれるデータ形式だと思います。 非営利のHDF5グループが管理しているデータ形式。 階層バイナリ形式で非常に大規模なデータの保存にも対応できる。 ディープラーニングではモデルそのものやモデルの重みを保存するのに使用されていま…

Pytorch, TensorflowのGPU版とOpneCV環境の構築方法

2023年8月31日 OpenCV pythonのインストールの記述を更新2022年11月24日 OpenCVの環境構築方法のアップデート 2021年3月18日 Pytorch v1.8.0, Tensorflow v2.1.0のGPU版とOpneCV環境の構築方法GPU: RTX2060Super OS: Windows11Pro 64bitPython3.7 Anaconda C…

CVPR2020情報まとめ

CVPR2020のMain conferenceのプログラムが出ています。 cvpr2020.thecvf.com

Google Colabの使い方

Google colabを使えばTensorflowでプログラミングするのにローカル環境構築やGPUなどのハードの準備の必要なく GPU/TPUを使って学習や推論も行うことができます。 Google colabとは Googleのサーバークラウド上で動作するjupyter notebookの実行環境 juliay…

論文と実装コードへのリンク, Paper with Code

paperswithcode.comwww.profillic.com

TensorFlow2.0への移行メモ

TensorFlow2.0への移行メモいままでnativeのKerasと組み合わせて使っていたのですが、2.0からはtf.kerasを使うように変更しました。 また、TensorFlow2.0からはeager executionがdefaultになったようですのでそれにまつわることも含めて自分用のメモを書きま…

CVPR2019情報まとめ

CVPR2019情報まとめ カンファレンストップページ http://cvpr2019.thecvf.com/ 論文PDF http://openaccess.thecvf.com/CVPR2019.py Workshop リスト CVF Open Access ペーパーと実装がセットになったリンク集 https://paperswithcode.com/conference/cvpr-20…

Deep learning を使ったobject_detectionの情報

Deep learning を使ったobject_detectionの情報は以下のサイトを見ればすべてまとまっています。 サーベイ論文をもとにして、各手法の論文や実装サイトへのリンクが時系列でまとめられています。 github.com

transfer learning, fine tunning, distillation, NNモデル圧縮について調べてみました

Transfer learning ある領域で学習したモデルを別の領域の学習に利用する手法のことです。 例えばimage netのような膨大な量の学習データを使用して1000カテゴリ分類の学習を行ったとして、その結果を用いて学習データの少ない10カテゴリ分類の問題を…

tensorboardではまった話

最近久しぶりにtensorboarを使ったらはまったので顛末をメモ 動作環境はWindows10 + Anacondaでtensorflow1.9です。 現象 tensorboard --logdir LOG_FILE_PATH (LOG_FILE_PATHは絶対パス) でtensorboadは以下のメッセージが表示され問題なく動いているように…

Processingで超お手軽に物体認識をやってみる

Pythonでtensorflowはたくさん記事があり、お手軽に使えますが、Processingでも推論だけでしたら非常にお手軽に試すことができます。 私の実行環境は、以下のとおりです。 Windows10 64bit Processing 3.3.7この記事はつぎのブログを参考にしました。 Tensor…

Kerasのコーディングではまったこと集

Kerasのsessionはきちんとclearさせてないとエラーがでます Tensoflow + Keras のコードの実行で、 TypeError: 'NoneType' object is not callableというエラーがでて原因がわからず少しはまりました。 どうやら、kerasのバックエンドのTensorFlowのsession…

TensorflowのTutorial "Deep MNIST for Experts"を試した時のメモ

wshinya.hatenablog.com前回は"MNIST For ML Beginners"の解説を読みプログラムを実行してみました。 今回は、以下のリンクから"Deep MNIST for Experts"の解説を読みプログラムを実行してみます。 Deep MNIST for Experts | TensorFlow前回のBeginners編と…

TensorflowのTutorial "MNIST For ML Beginners"を試した時のメモ

Tensorflowを勉強するにはTensorflowのTutorialを自分で入力して実行しながら理解するのが一番手っ取り早いです。 特に初めてTensorflowを動かすときには、以下のリンク先のMNIST for ML BeginnersというTutorialがおすすめです。 MNIST For ML Beginners | …

深層学習でよく使われる学習用データセットまとめ

せっかくまとめましたが、arXivTimesに素晴らしいまとめがありますのでそれで十分ですね。 github.com 商用利用可能な6種類の最大4Kサイズの人物の肌テクスチャが無料配布されています 商用利用可能な6種類の最大4Kサイズの人物の肌テクスチャが無料配布され…

Kerasを使っていてPILが必要になったときの対処法

conda install PILとやったらpythonのversionが3.5だと怒られてしまいます。 PILの代わりに、 conda install Pillowとすればいいようです。以下のサイトを参考にしました。 qiita.comPillowについては以下を参照 qiita.com

Tensorflow2.0 CPU/GPU版 + Keras + OpenCV ver3.0の環境構築

2019年10月 更新 インストール環境 - Windows64Pro - Nvidia Geforce2080TiAnacondaでよく使うコマンドは以下のサイトが便利です. qiita.com - Windows: tensorflow CPU版1) anaconda の仮想環境の作成 まずは、pipのアップデート python -m pip install --u…

機械学習基礎の基礎: 過学習を防ぐ正則化

前回のブログでは2次元平面上の8つの点を10次関数でfittingしました。 すると、fittingする関数の自由度が高いために、8つの点すべてを通るようにうまくパラメータを調節できてしまい、学習データに対しては100%近い正解率がでるのに、新たなデータ…

機械学習基礎の基礎: 過学習

今回は過学習についてみて見ます。 まずは訓練データを作成します。 訓練データは3次関数にノイズを加えた8つの点(x, y)構成することとします。 プログラムの初めに8点生成して、それらの点を10次関数でfittingすることにします。 データの個数がfitti…

機械学習基礎の基礎: パーセプトロンで線形分離を実装してみる

今度は、パーセプトロンを使って線形分離をしてみます。 適当に線形分離できそうなデータを以下のように作ってみました。 データは2次元平面上の点の座標(x, y)とそれぞれの正解ラベル1 or -1をつけています。 10, 20, 1 11, 30, 1 15, 30, 1 17, 35, 1 5,…

機械学習基礎の基礎: 確率的勾配降下法の実装

前回のデータとコードを改造してStochastic gradient descent method(SGD)を実装してみました。 と言っても、大した改造ではなくパラメータの更新を1つの訓練サンプルごとに行うようにしただけです。 np.random.permutation(X.shape[0]) で、いったんランダ…

機械学習基礎の基礎: 非線形fitting

前回の線形fittingでは、身長が低いところでfittingのずれが大きくなっていましたので、今回は2次関数でfittingすることにします。 同時に、入力データやパラメータをmatrixで扱うことでコードをシンプルにしています。 前回との差分は、fitting関数を y = …

機械学習基礎の基礎: データ読み込みから線形fittingまで

機械学習の基本である線形回帰のコードを書いてみます。流れの説明: 1) データファイルの読み込み: データファイルはtextデータで x0, y0 x1, y1 ... のように格納しています。今回以下のような ダミーの(身長, 体重)データを使用しました. 85, 16.8 90.5,…

東大の松尾研究室, Deep Learning基礎講座やってみた

東大の松尾研究室がDeep Learning基礎講座を開設しているらしいです. 以下のブログに触発されて私も早速ためしてみました. karaage.hatenadiary.jpすると確かに上のブログに書いてあるようにlecture_chap05_exercise_master.ipynbのTensorBoardの可視化のと…

Kerasでmnist.load_data()したときにデフォルトでデータがセーブされる場所

WindowsでKerasのサンプルを実行したときの話です。 例えばmnist_cnn.pyを実行するとネットワークからmnistデータセットをはじめにロードしますが、そのファイルがおいてある場所は、 C:\Users\username\.keras\datasets になります.以下のソースコードを読…

Kerasのバックエンドを変更する方法

Anacondaでpythonとtensorflow及びKerasをインストールしてpythonからimprot kerasを実行するとバックエンドがなぜかtheanoになってしまう問題の解決方法です。 解決方法:(環境変数を書き換える) C:\Users\someone\Anaconda3\envs\someEnv\etc\conda\activa…

機械学習の論文を効率よく読む方法

機械学習に関しては日々多くの論文が投稿されていて、すべてに目を通すことは時間的に難しいです。以下のサイトでは、投稿される機械学習関連の論文をリスト化し簡単なサマリーが付けられているので このサイトを見れば世の中のトレンドを知ることができます…