Pytorch学習の効率化

pytorchで学習をさせているときに、GPUを使っているのにGPUのロードが全く上がらないことがよくあります。
おそらくDataLoaderでのデータのロードとデータの処理に時間がかかって、GPUの計算がずっと止まっている状態なのだと思います。
以下のようなとても役に立つ記述がありましたので、メモとしてリンクしておきます。
正確には測ってはいませんが、いくつか使ってみたら確かに少し早くなりました。
qiita.com