GPGPU CUDA-7.5

CUDA 7.5を使ってみた。

２０１６年７月現在、最新のCUDAは7.5。色々なプラットフォームで使えるようにインストーラが用意されている。Mac OSX用にも用意されていて、簡単にインストールできる。ただし、私の環境、OSX 10.9.5では、networkインストールは出来なかった。localインストールでは問題は無かった。ソフトウェアは、幾つかのディレクトリにインストールされる。

 /usr/local/cuda

 /Developer/NVIDIA

 /Lirary/Frameworks/CUDA.framework

などにインストールされる。重要なのは、/usr/local/cudaで、ここにパスを通しておいた方が後々便利かもしれない。

さて、このベンチマークをするに当たって、GPUに有利な計算インテンシブな行列の積 C= A*B について計測してみる。メインプログラムは、matrix.cで、ここから関数MulABを呼ぶ。このMulABを、CUDAとCPUとそれからAVX2を用いて実装して比較してみる。それぞれの実装は、gpu.cu, cpu.c, fma.cに実装されており、これを、普通にコンパイル・リンクする。

cpu: gcc -O2 matrix.c cpu.c -o matrix_cpu

avx2: gcc -O2 matrix.c fma.c -mavx2 -o matrix_fma

gpu: /usr/local/cuda/bin/nvcc -O2 matrix.c gpu.cu -o matrix_gpuもしくは、

nvcc -O2 -c gpu.cu; g++ -O2 matrix.c gpu.o -I /Developer/NVIDIA/CUDA-7.5/samples/common/inc -L /usr/local/cuda/lib -lcudart -lcuda

リンカをgccにすると、 環境変数、LD_LIBRARY_PATH に/usr/local/cuda/libを設定する必要があるかもしれない。

これらを実行させると、

cpu: 4.657794 (sec)

fma: 2.554139 (sec) （＝＞これはFMAは使えていない。単なる単精度用AVX2命令が使われている）

gpu: 1.209110 (sec)

gpu版にはメインメモリからGPUボードのメモリ上への送信・受信も含まれている。これらはミリセカンドのオーダで、1.3-1.5GBpsの速度が出ている。

以上のことから、確かにGPGPUは速いと言える。が、CPU版はシングルスレッドであることを考えると、結構混沌としているかもしれない。

計算環境（iMac 2013 late 21.5inch / OSX 10.9.5 / CUDA-7.5 / Xcode 6.2)