GPU使用率很低

 

1  batch size太小，导致模型的并行化程度太低。还有你的cpu、内存/显存带宽性能不足。

2  因为记录日志需要频繁的进行写入操作，导致运算变慢！所以提高GPU利用率一定要小心日志

3  

 

 

 

GPU 的 memory 分为 三种，io速度从快到慢排序为：

• local memory
• shared memory
• global memory

 

Reference 

1  https://blog.csdn.net/u012436149/article/details/77221417

2  GPU共享内存小结---pycuda

 

 

 

 

 

 

 

 

来源：https://blog.csdn.net/tony2278/article/details/100540003