しんさんのブログ

科学や技術のこと読書のことなど

Pytorch

Anacondaからコンテナ+依存性管理ツールへ、検討中

自分の機械学習プロジェクトは今はAnacondaの仮想環境で完全に切り分けていますがこのままだとディスク領域が無限に必要になり管理も複雑になりつつありどうしようかなと考えています。 まだ検討中ですが、以下の記事が参考になりそうでした。 Kaggle Notebo…

Pytorch学習の効率化

pytorchで学習をさせているときに、GPUを使っているのにGPUのロードが全く上がらないことがよくあります。 おそらくDataLoaderでのデータのロードとデータの処理に時間がかかって、GPUの計算がずっと止まっている状態なのだと思います。 以下のようなとても…

Tensorflow, Kerasでよく使うセーブデータ形式

HDF5 多分一番よくつかわれるデータ形式だと思います。 非営利のHDF5グループが管理しているデータ形式。 階層バイナリ形式で非常に大規模なデータの保存にも対応できる。 ディープラーニングではモデルそのものやモデルの重みを保存するのに使用されていま…

Pytorch, TensorflowのGPU版とOpneCV環境の構築方法

2022年11月24日 OpenCVの環境構築方法のアップデート 2021年3月18日 Pytorch v1.8.0, Tensorflow v2.1.0のGPU版とOpneCV環境の構築方法GPU: RTX2060Super OS: Windows10Pro 64bit GeForce Driver: ver.461.92 03/16/2021Python3.7 Anaconda CUDA10.2 OpenCV …