Google I/O 2018で発表された、機械学習を効率よく演算できる専用ASICチップのTPUについてです。
第3世代の発表が今回行われていたので、メモってみます。
彼らのアナウンスをまとめると：
Today we're announcing our third generation of TPUs. Our latest liquid-cooled TPU Pod is more than 8X more powerful than last year's, delivering more than 100 petaflops of ML hardware acceleration. #io18 pic.twitter.com/m8OH5vFw4g
— Google (@Google) 2018年5月8日
TPUには4つのTPU演算ユニットが載っている。
TPU v2: 180Tera ops per second per one TPU chip which include 4 TPU units.
TPU v3は8倍？とアナウンスされているので、
TPU v3: 180 * 8 = 1.44Peta ops per second per one TPU chip which include 4 TPU units.
さらに TPU v3を束ねたサーバーは256 TPUs なので、
1.44Peta * 256TPU = 369Peta ops per second
という計算で、100Peta以上というアナウンスになっているのでしょうか。
８bit int の演算だと思っていましたが、100Peta flops と書いてあるし、floatの計算なのでしょうか。
よく読むと、Podが8倍の性能になって100kTeraFloposと書いてあり、チップの演算速度8倍になったとは言ってないですね。
逆算すると、
100Peta / 256 = 390 TeraFlops なので、チップそのものはv2 の2倍程度の速度向上のようです。
