cuda

机器推理在深度学习的影响下，准确性越来越高、速度越来越快。深度学习对人工智能行业发展的贡献巨大，这得益于现阶段硬件计算能力的提升、互联网海量训练数据的出现。本篇文章主要介绍深度学习过程中如何选择合适的GPU显卡，如果你是深度学习新手，希望这篇文章对你有帮助。 推理用到的硬件分两种，一种是专业AI硬件公司出的AI芯片，一种就是我们平时熟知的GPU显卡了，前者不太适合入门学习，而后者无论从入门难度还是性价比上讲，对于新手来说都是优先的选择。而GPU显卡主流厂商大概两家，一个Nvidia，一个AMD，前者出的卡我们一般称之为N卡，后者称之为A卡。目前不管是普通消费市场（比如玩游戏）还是做机器推理的，N卡都占主流，生态也更好一些，因此，如果没有特殊原因，建议新手优先选择N卡入手。我个人不太推荐使用非主流的产品、技术，因为他们大多数不太成熟，使用过程中困难重重，甚至最终官方夭折。本篇文章所有内容全部基于Nvidia显卡。 ==Update== 经过实际经验证明，Geforce还是用来调试开发比较好，真正上线的卡还是选择官方推荐的Tesla等，具体原因谁用谁知道。。 Nvidia显卡分类 Nvidia显卡主要分3大类： 1）Geforce系列 这个系列是销量最多、大众最为熟悉的显卡，一般用来打游戏。价格便宜，最新出来的旗舰卡RTX 2080Ti京东售价大概1w左右，根据不同的品牌，价格有所波动

深度注意力机制模型 深度注意力机制模型（Deep Attention Matching Network）是开放领域多轮对话匹配模型。根据多轮对话历史和候选回复内容，排序出最合适的回复。 网络结构如下 任务定义与建模 多轮对话匹配任务输入是多轮对话历史和候选回复，输出是回复匹配得分，根据匹配得分排序。 模型原理介绍 可以参考论文: http://aclweb.org/anthology/P18-1103 . 数据格式说明 训练、预测、评估使用的数据示例如下，数据由三列组成，以制表符（'\t'）分隔，第一列是以空 格分开的上文id，第二列是以空格分开的回复id，第三列是标签 286 642 865 36 87 25 693 0 17 54 975 512 775 54 6 1 注：本项目额外提供了分词预处理脚本（在preprocess目录下），可供用户使用，具体使用方法如 下： python tokenizer.py \ --test_data_dir ./test.txt.utf8 \ --batch_size 1 > test.txt.utf8.seg 代码结构说明 main.py：该项目的主函数，封装包括训练、预测的部分 config.py：定义了该项目模型的相关配置，包括具体模型类别、以及模型的超参数 reader.py：定义了读入数据，加载词典的功能 evaluation

最近有个任务：利用 RNN 进行句子补全，即给定一个不完整的句子，预测其后续的字词。 本文使用了 Seq2Seq 模型，输入为5个中文字词，输出为一个中文字词。 目录 关于RNN 语料预处理 搭建数据集 搭建模型 训练模型 测试模型 保存/加载模型 1.关于RNN 自被提出以来，循环神经网络(Recurrent Neural Networks，RNN) 在 NLP 领域取得了巨大的成功与广泛的应用，也由此催生出了许多新的变体与网络结构。由于网上有众多资料，在此我也只做简单的讲解了。 首先，讲讲 RNN cell 及其变体： (1) vallina RNN cell 不同于常见的神经网络结构，RNN 的输入为时序输入，每一时刻的输入对神经元的隐状态产生影响，从而影响后续所有时刻的输出。 其中，隐藏层的公式如下所示： O_{t} = g(V* S_t), S_t = f(U*X_t+W*S_{t-1})Ot=g(V∗St),St=f(U∗Xt+W∗St−1) (2) LSTM cell LSTM（Long short-term memory,长短期记忆）极大程度的解决了长序列训练过程中的梯度消失和梯度爆炸问题。 (3) GRU cell GRU（Gate Recurrent Unit）与 LSTM 一样，也极大程度的解决了长序列训练过程中的梯度消失和梯度爆炸问题。但是，与 LSTM

在win下运行，会找不到pytorch和torchvision（如图所示）： 安装pytorch的方法，是在这个知乎专栏里找到的，附上地址，以示对作者的尊重： https://zhuanlan.zhihu.com/p/26871672 安装的命令有四个，第一个表示没有cuda使用pytorch，也就是只有cpu 其他是安装了对应版本的cuda之后，安装pytorch 的命令（忽略掉注释里的windows版本，只需要看cuda对应的版本就好~，我的cuda版本是9.1.85，最新版本，选择的是第三个命令，安装可用，都是属于cuda9），在安装的时候，最好先墙出去，速度会快些，当然不墙也没关系，就是等的久一点而已嘛~ 这样，pytorch就安装完毕了，但是还有pytorchvision需要安装，在使用时，pytorch和pytorchvision往往需要同时出现，pytorchvision安装方法，我是通过本地安装的方式进行安装的，本地包的下载地址为： https://pypi.python.org/pypi/torchvision/0.1.8 ） 下载好之后，在当前文件夹下打开命令窗，输入下面的命令，安装pytorchvision： 至此，所有的安装就已经完成。 下面查看是否安装好pytorch，torchvision和pytorch是否支持cuda，输出为True，证明ok。 来源

参考：1. pytorch学习笔记（九）：PyTorch结构介绍 2. pytorch学习笔记（七）：pytorch hook 和 关于pytorch backward过程的理解 3. Pytorch入门学习（三）：Neural Networks 4. forward 神经网络的典型处理如下所示： 1. 定义可学习参数的网络结构（堆叠各层和层的设计）； 2. 数据集输入； 3. 对输入进行处理（由定义的网络层进行处理）,主要体现在网络的前向传播； 4. 计算loss ，由Loss层计算； 5. 反向传播求梯度； 6. 根据梯度改变参数值,最简单的实现方式（SGD）为: weight = weight - learning_rate * gradient 下面是利用PyTorch定义深度网络层（Op）示例： class FeatureL2Norm( torch. nn. Module): def __init__ ( self): super(FeatureL2Norm, self).__init_ _() def forward ( self, feature): epsilon = 1e- 6 # print(feature.size()) # print(torch.pow(torch.sum(torch.pow(feature,2),1)+epsilon,0.5).size(

转载请注明： 仰望高端玩家的小清新 http://www.cnblogs.com/luruiyuan/ 如何解决pytorch 编译时CUDA版本与运行时CUDA版本不对应 如果pytorch的编译时CUDA版本和运行时CUDA版本不一致时，由于不同的 nvcc 编译器会生成不同的动态函数代码，由此会导致自己编写的 CUDA 函数无法正确运行。 常见的错误有： undefined symbol: __cudaRegisterFatBinaryEnd （运行时为CUDA10.1，编译时CUDA版本<10.1） undefined symbol: __cudaPopCallConfiguration （运行时为CUDA10.0，编译时CUDA<10.0） 等 由此思路有2个： 1. 重新编译 pytorch 使得编译时CUDA能够与运行时CUDA保持一致 2. 重新安装CUDA使得其与pytorch编译的版本一致。 服务器涉及多用户，因此采用了方案一避免引入其他问题： 具体的细节可以见我再github的讨论： issue 重新编译安装pytorch的脚本整理如下： pip uninstall pytorch # conda uninstall pytorch, if you use conda nvcc - V # 查看 nvcc 版本 sudo rm -f /usr/local

A PyTorch Tools, best practices & Styleguide 中文版： PyTorch代码规范最佳实践和样式指南 This is not an official style guide for PyTorch. This document summarizes best practices from more than a year of experience with deep learning using the PyTorch framework. Note that the learnings we share come mostly from a research and startup perspective. This is an open project and other collaborators are highly welcomed to edit and improve the document. You will find three main parts of this doc. First, a quick recap of best practices in Python, followed by some tips and recommendations using PyTorch. Finally, we share

目录 前言 CUDN10的安装 一、去官网进行下载： 二、打开下载的exe文件进行安装 三、测试是否安装成功 cuDNN安装 一、去官网下载： 二、cuDNN目录移动到CUDN目录 三、设置环境变量 前言 使用 GPU 并不是绝对必要的，但我们强烈推荐使用 GPU。大部分代码示例都可以在笔记本电脑的 CPU 上运行，但训练模型有时可能需要等待几个小时，而在一个好的 GPU 上则只需要几分钟。 想要用 NVIDIA GPU 做深度学习，需要同时安装 CUDA 和 cuDNN。 CUDA。用于 GPU 的一组驱动程序，它让 GPU 能够运行底层编程语言来进行并行计算。 cuDNN。用于深度学习的高度优化的原语库。使用 cuDNN 并在 GPU 上运行时，通常可 以将模型的训练速度提高 50% 到 100%。 CUDN10的安装 一、去官网进行下载： 下载地址，点击就跳转： https://developer.nvidia.com/cuda-toolkit-archive 选择需要的版本 3. 进入该版本的下载详情页面 Operating System选Windows，Version选择10，Installer Type选择exe（local），点击Download开始下载，安装包大小约为2.6GB。 （最新版本的TensorFlow2.1.0匹配的是10版本的CUDA Toolkit

本博客主要包含以下3点： AI简介及本博客主要目的 环境介绍及安装原因 搭建环境及检验是否安装成功 离线模型的训练 时间分配： 时间 时长（分钟） 收集资料+写博客 6.12 11：28-12：28 6.12 13：28-13：30 6.12 14：02-14：11 6.12 14：30-14：41 6.12 14：53-15：09 6.12 15：38-16：06 6.12 19：15-19：21 6.13 16：21-16：38 149 安装Visual Studio2017 6.12 12：28-13：30 62（安装） 下载+安装git 6.12 12：58-13：08 10 下载+安装CUDA 6.12 17：35-17：50（下载） 6.12 17：50-18：49（安装） 25（下载）+59（安装） 下载+配置cuDNN 6.12 17：48-17：56（下载） 6.12 18：49-18：51（配置） 8（下载）+2（配置） git clone+安装深度学习和机器学习的软件及依赖 6.12 14：13-14：34（克隆） 6.13 12：49-14：37（一键安装+手动安装） 21（克隆）+108（下载和安装） 下载+安装VS Tools for AI 6.12 14：30-14：52（下载） 6.12 14：56-14：58（安装） 22（下载）+2（安装）