cudnn

Pytorch的安装 注意： Pytorch的版本 ， cuda版本 ， cudnn版本 ， Python版本 , nvidia驱动版本 要相互对应，否则就会出现各种报错和问题，无法使用GPU加速计算！ 查看nvida驱动支持的cuda版本，在 nvidia控制面板->系统信息->组件 即可查看支持的cuda版本 比如对我的GTX960M417.22驱动支持的cuda版本为10.0.132 如果自己手动配置需要去nvidia官网下载对应版本的 cudatoolkit 和 cudnn ,很麻烦而且下载起来还比较慢，这里推荐使用 conda 安装,没用过conda的看我之前的文章==> 传送门 有了conda后，一切就好办了，先添加一下清华大学的Pytorch镜像地址： conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/ 使用conda安装Pytorch，其中需要手动指定cudatoolkit版本，然后cuda会自动处理环境和匹配版本, 如果不指定cudatoolkit版本会根据当前含依赖关系的包安装最新版本 conda install pytorch torchvision cudatoolkit=10.0 安装完成即可，在 cmd 或者 powershell

Linux服务器配置深度学习环境 本文介绍一下配置深度学习环境的具体步骤，老实说这玩意挺恶心人的，配置这些环境需要相当的耐心。这里我使用的是ubuntu16.04、cuda10.1和pytorch，显卡是1080ti。 总体要求 深度学习服务器比较好的管理方式是 采用分配账户的方式来提高服务器的利用率 。其中cuda最好是通过 全局的方式 安装到机器上的，也就是所有用户都可以访问，nvidia驱动和cudnn是直接安装在全局上的，这个没什么疑问。Anaconda和pytorch/tensorflow是需要每个用户自行安装的，每个用户根据自己不同的需要安装不同的包。 安装ubuntu 安装操作系统我就不细说了，详情可以参考 虚拟机安装操作系统 和 安装操作系统 这两篇博文。安装系统没有什么难度，唯一需要注意的是 Linux的分区问题 。 分配账户 装好系统之后，第一件事就是需要分配账户，分配账户可以参考这篇博文： 点击传送门 。 需要强调的一件事ubuntu的root账户没有用过的话，是需要自己设置密码的 ，由于第一个 user 是在 admin 组 ，所以可以给 root 设置密码 ： sudo passwd root [sudo] password for you ：---> 输入你的密码，不会显示 Enter new UNIX password: --- > 设置root 密码

CUDA下载 CUDA的安装包可直接从 官网 下载，window下的安装包为exe文件，下载后直接安装。安装的时候建议选择 自定义 而不是“精简”(从下面的英文解释可以看出，其实这里的精简写成完整应该更贴切，他会安装所有组件并覆盖现有驱动)。 cuDNN下载 安装完成之后，还需要下载 cuDNN ，这里需要登录并填写问卷才能下载，选择与CUDA相应的版本下载。下载完成后解压，把解压后文件夹中lib，bin，include三个文件夹放入cuda的安装文件夹目录下。我的是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2 环境变量设置 接下来设置环境变量： 计算机上点右键，打开属性->高级系统设置->环境变量，可以看到系统中多了CUDA_PATH和CUDA_PATH_V8_0两个环境变量，接下来，还要在系统中添加以下几个环境变量，具体位置根据自己的安装位置填写： CUDA_SDK_PATH = C:\ProgramData\NVIDIA Corporation\CUDA Samples\v10.2 CUDA_LIB_PATH = %CUDA_PATH%\lib\x64 CUDA_BIN_PATH = %CUDA_PATH%\bin CUDA_SDK_BIN_PATH = %CUDA_SDK_PATH%\bin\win64

之前在测试NN中各个层的时间的时候，遇到一个非常奇怪的问题，分别使用Caffe自己的gpu方法和cuDNN方法，在卷积上性能差异非常大，但是在pooling层上基本没有变化。抽空检查了代码之后，发现是layer_factory模式导致的问题。下面就以下几个方面来进行 1.工厂模式 2.layer_factory详解 3.layer_factory中坑 4.问题影响分析 1.工厂模式 工厂模式是设计模式中的一种，面向的业务大概是在编码时不能预见需要创建那种类的实例，系统不依赖产品类如何被创建、组合和表达的细节，工厂模式的弊端是扩展比较少的项目中比较合适。 工厂模式有三种角色： 工厂类角色：根据逻辑产生具体的产品 抽象产品角色：具体产品的父类，一把由Java中的接口或者C++中的抽象类来实现 具体产品角色：产品实例 2.layer_factory详解 众所周知，Caffe1.0版本中，目前有三大类算子：CPU版本、Caffe自己实现的CUDA版本的和CuDNN版本的。layer_factory文件负责组装Caffe中算子，工厂模式的意思就是根据用户的设置，在执行时，选择相应版本的算子进行。 以下参考至http://zhuanlan.zhihu.com/hacker-and-painter/20456649 layer_factory.hpp是layer_factory的头文件 /**

下面是win10下不同CUDA版本对应的cuDNN版本： 1-CUDA10 cuDNN7.4.1 cuDNN7.3.1 cuDNN7.3.0 2-CUDA9.2 cuDNN7.4.1 cuDNN7.3.1 cuDNN7.2.1 cuDNN7.1 3-CUDA9.1 cuDNN7.1 cuDNN7.0 4-CUDA9.0 cuDNN7.4.1 cuDNN7.3.1 cuDNN7.3.0 cuDNN7.1 cuDNN7.0 5-CUDA8.0 cuDNN7.1 cuDNN7.0 cuDNN6.0 cuDNN5.1 cuDNN5.0 6-CUDA7.5 cuDNN6.0 cuDNN5.1 cuDNN5.0 下面是linux下不同CUDA版本对应的cuDNN： 1-CUDA10 cuDNN7.4.1 cuDNN7.3.1 cuDNN7.3.0 2-CUDA9.2 cuDNN7.4.1 cuDNN7.3.1 cuDNN7.2.1 cuDNN7.1 3-CUDA9.1 cuDNN7.1 cuDNN7.0 4-CUDA9.0 cuDNN7.4.1 cuDNN7.3.1 cuDNN7.3.0 cuDNN7.1 cuDNN7.0 5-CUDA8.0 cuDNN7.1 cuDNN7.0 cuDNN6.0 cuDNN5.1 cuDNN5.0 6-CUDA7.5 cuDNN6.0 cuDNN5.1

  解压下载的tgz文件，解压后是一个cuda文件夹   使用命令进入cuda文件夹的位置   输入命令： sudo cp cuda/include/cudnn.h /usr/local/cuda/include/ sudo cp cuda/lib64/libcudnn* /usr/local/cuda/lib64/ -d sudo chmod a+r /usr/local/cuda/include/cudnn.h sudo chmod a+r /usr/local/cuda/lib64/libcudnn*   查看cuda版本： cat /usr/local/cuda/version.txt   查看cudnn版本： cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 来源： https://www.cnblogs.com/willwuss/p/12248263.html

1. 全卷机网络，对于如下输入站位， 请问batch可以指定为None吗， 宽高可以指定为None吗， channel可以指定为 None吗？： self.input_image = tf.placeholder(tf.float32, [1, None, None, 3]) batch, width, height,可以指定为None, channel不可以，必须为确定的数字，因为要确定第一层的参数。 2.如果使用conda， 在一个env里面安装tensorflow， 依赖的cuda与系统里面装的不一致怎么办？ 使用conda install cudatoolkit=9.2这样，然后conda install cudnn,自动匹配cuda对应的cudnn版本 来源： CSDN 作者： zhouenlai_silva 链接： https://blog.csdn.net/northeastsqure/article/details/103595093

前言：在服务器上安装pytorch 1、检查驱动+CUDA+CUDNN 1、在安装pytorch之前，我知道我的服务器上已经安装了驱动，查看驱动命令 nvidia - smi 如果是这样，证明已经安装了驱动 2、检查安装CUDA命令 nvcc - V 可以看到结果CUDA版本9.0 3、查看安装CUDNN命令 cat / usr / local / cuda / include / cudnn . h | grep CUDNN_MAJOR - A 2 可以看到结果CUDNN版本7.0 2、安装pytorch 1、创建一个环境变量（已经安装好了anaconda) conda create - n pytorch pip python = 3.7 .1 2、激活环境变量 source activate pytorch 3、检查自己操作系统版本 cat / etc / lsb - release 操作系统 Ubuntu 版本号16.04 4、点击 这里 ，进入pytorch配置网站 这里注意，我之前使用的是CUDA9.0版本，这里是9.2 版本不符，所以需要有所改动，请看下面 5、由于这种方法安装pytorch很慢，所以我采用了清华源 conda config - - add channels https : // mirrors . tuna . tsinghua . edu . cn