cuda

之前没有用过显卡，直接上手了一块RTX2080,在pycharm里面配置tensorflow-gpu踩坑无数，写下这篇经验，希望对还在坑中挣扎的小伙伴们有些帮助。 一些知识： 配置tensflow-gpu，大概需要安装显卡驱动，安装python，CUDA，cuDNN，更改环境变量，安装tensflow-gpu 其中的坑大概在于CUDA，cuDNN与tensorflow的版本需要兼容，有时还要考虑到python的版本。 其中还需要注意python的位数，好像只能64位，32位会在哪里出错我忘了...... CUDA（Compute Unified Device Architecture）是一种用于GPU通用计算的并行计算平台和编程模型。CUDA（Compute Unified Device Architecture）是一种用于GPU通用计算的并行计算平台和编程模型。 本人结果： 手动安装CUDA，cuDNN与tensorflow踩坑无数，实在不知道问题出现在哪，于是转投Anaconda（可以看做一个专门的python包管理软件） win10+Anaconda3+PyCharm 2019.1+python3.7-tensorflow-gpu1.13.1配置成功，几乎都是各个软件的最新版本 CUDA，cuDNN的版本呢？这就是Anaconda的好处了，在选择安装tensorflow时

tf1.13.1 及 tf2.0.0 相关依赖及版本 　　 　　 硬件说明：显卡NVIDIA-GEFORCE-GTX-1060 1.驱动版本检查，并且更新显卡驱动【这一步很重要，你的驱动版本低了，cuda及cudnn就可能出错】 错误：DLL load failed: 找不到指定的模块。 cmd中输入：nvidia-smi 　　　　 显卡驱动已经是最新的了。如果不是最新的显卡驱动，需要手动更新一下。 补充：驱动version对应 cuda 和 cudnn的版本 　　　　 我们安装的cuda 是10.0.130 所以：win10对应的nvidia的驱动版本要大于411.31。【我更新后的显卡驱动为：436.48满足条件】 　　　　 假如你的驱动版本低于411.31，就需要更新驱动 驱动下载地址：https://www.nvidia.com/Download/index.aspx?lang=en-us 选择下载版本：根据自己电脑的显卡型号进行选择（百度相关机型，就能有详细信息；也可以在硬件里查看；） 第一次下载的标准版本，提示我的电脑windows Drivers Type 为DCH 而不是标准版本，所以重新下载安装成功。 　　　　 下载的驱动：436.48-desktop-win10-64bit-international-dch-whql.exe 按提示（prompts）安装即可。

一，本机配置 Win10 64bit NVIDIA GeForce GTX 960M Python3.7（Anaconda） 二，安装CUDA 亲测，TensorFlow-gpu1.13.1支持cuda10.0的版本，所以我们可直接选择cuda10.0的版本 Window10下载CUDA10 安装步骤为： 1）运行.exe可执行和层序。安装软件会先运行一个系统检查，如果没有软硬件不兼容的情况就能继续进行下一步。若有不兼容情况，系统检查则会报错，无法进行下一步。如果报错了，就最先考虑下是不是自己的显卡不被该版本支持。在安装过程中，它会先自动安装和你电脑对应的NVIDIA驱动。 2）选择默认安装就行。 三，安装cuDNN cuDNN7.3.1下载 下载cuDNN需要自己先在以上网址（cuDNN官网）注册个账号，注册成功后登陆进去选择cuDNN7.3.1下载即可。 下载完成后是一个.zip包，解压后进入目录，会发现三个子目录/bin，/include，/lib/x64。进去后会发现有三个文件，将这三个文件分别拷贝到cuda的安装目录的对应子目录下 默认cuda的安装目录是C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA 四，配置系统Path环境变量 检查你的系统Path环境变量中是否有这四项，没有请手动添加 C:\Program

声明 什么cuDNN之类的安装，应该是毫无难度的，按照官网的教程来即可，除非。。。像我一样踩了狗屎运。咳咳，这些问题不是本文的关键。 本文的关键是解决pip安装tensorflow gpu版的问题。 安装环境 操作系统：64位的Windows 10 的1709版， 显卡：GTX 1080Ti Python：3.6.5，64位 准废话 在网上查了很多资料，包括tensorflow官网的安装指南，然而总是报错： Could not find a version that satisfies the requirement tensorflow-gpu (from versions: ) No matching distribution found for tensorflow-gpu 实在是想不明白，官网明明写着windows版支持python 3.6.x。。。然后我切换到3.5.x，竟然还是不行。。。Anaconda的方法也跪了。。。 官网还给出了版本要求不满足的问题的解决方法参考资料： 然而并没有什么卵用。。。所有的方法都试过了。只是给出的StackOverflow相关讨论里有种解决方法让我比较在意的： 官网要求用pip3来安装，但是不记得是在哪里看到的，貌似在没有python 2.x与python 3.x共存的情况下，pip3和pip似乎是一样的。 出于死马当活马医的念头

随着近两年tensorflow越来越火，在一台新win10系统上装tensorflow并记录安装过程。华硕最近的 Geforce 940mx的机子。 TensorFlow是一个采用 数据流图 （data flow graphs），用于数值计算的开源软件库。 节点 （Nodes）在图中表示数学操作，图中的 线 （edges）则表示在节点间相互联系的多维数据数组，即 张量 （tensor）。它 灵活的架构 让你可以在多种平台上展开计算，例如台式计算机中的一个或多个CPU（或GPU），服务器，移动设备等等。TensorFlow 最初由Google大脑小组（隶属于Google机器智能研究机构）的研究员和工程师们开发出来，用于机器学习和深度神经网络方面的研究，但这个系统的通用性使其也可广泛用于其他计算领域。 tensorflow用起来就是更加方便，高效；一般情况是这样的，如果你用过其它的框架，比如caffe，那tf的感觉就如同fly一般，上手飞快。 tf有CPU和GPU两个版本，GPU的安装需要cuda和cudnn，安装过程十分简洁。 因为都要安装python，pip等包，所以直接安装Anaconda，但是一定要安装3.0版本的，地址如下： https://www.anaconda.com/download/#windows 本人安装的是python3.6版本Anaconda

我的安装版本： win10 x64 VS2015 conda python 3.7 显卡 GTX 940mx Cuda 9.0 cudnn v7.3.1 Tensorflow-gpu 1.13.1 1.安装Anaconda 　　自动安装python3.7 2.安装VS2015 　　tensorflow其实是基于VC++2015开发的，所以需要安装vs2015 　　下载地址 https://pan.baidu.com/s/1F7g4sn5qj82RI0syjznFMQ 密码：fe9f 　　 https://my.visualstudio.com/Downloads?q=visual%20studio%202015&wt.mc_id=o~msft~vscom~older-downloads 3. 安装显卡驱动 　　去官网找适合自己型号即可 4. 安装CUDA 　　显卡型号支持： https://developer.nvidia.com/cuda-gpus 　　 下载安装CUDA ，安装好之后把CUDA安装目录C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0下的bin和lib\64添加到Path环境变量中 　　在命令行输入nvcc --version(或者nvcc -V，大写的V)，出现此图说明成功安装了vs+cuda

https://www.jb51.net/article/142212.htm 这篇文章主要介绍了Python基于pyCUDA实现GPU加速并行计算功能,结合实例形式分析了Python使用pyCUDA进行GPU加速并行计算的原理与相关实现操作技巧,需要的朋友可以参考下 目录 pyCUDA特点 pyCUDA的工作流程 调用基本例子 具体内容 本文实例讲述了Python基于pyCUDA实现GPU加速并行计算功能。分享给大家供大家参考，具体如下： Nvidia的CUDA 架构为我们提供了一种便捷的方式来直接操纵GPU 并进行编程，但是基于 C语言的CUDA实现较为复杂，开发周期较长。而python 作为一门广泛使用的语言，具有 简单易学、语法简单、开发迅速等优点。作为第四种CUDA支持语言，相信python一定会 在高性能计算上有杰出的贡献–pyCUDA。 pyCUDA特点 CUDA完全的python实现 编码更为灵活、迅速、自适应调节代码 更好的鲁棒性，自动管理目标生命周期和错误检测 包含易用的工具包，包括基于GPU的线性代数库、reduction和scan，添加了快速傅里叶变换包和线性代数包LAPACK 完整的帮助文档 Wiki pyCUDA的工作流程 具体的调用流程如下： 调用基本例子 ? 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

pip install torch-scatter # 报错 error: Microsoft Visual C++ 14.0 is required. Get it with "Microsoft Visual C++ Build Tools": https://visualstudio.microsoft.com/downloads/ 解决方法 Microsoft Visual C++ 14.0 is required (Unable to find vcvarsall.bat) 也可以直接安装whl包： https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml CUDA9.1 Visual Studio Integration 安装失败问题，如何解决？ - 徐遥的回答 - 知乎 https://www.zhihu.com/question/276491276/answer/394778358 (有VS tools的早期版本) pip install torch-scatter # 报错 C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v9.0\include\crt/host_config.h(133): fatal error C1189: #error: --

「昨天我和马斯克开会了，正在聊一个两亿的项目。」 机器之心报道，参与：Racoon、蛋酱、兔子。 要是你这么跟朋友说，她可能不信，但你可以甩给她一张 Zoom 的截图，她没准就信了。 实际上，马斯克才不会找你来聊项目，这都是 deepfake 生成的。数以万计的国外网友正在忍受在家办公的枯燥，Zoom 和 Skype 已经成为他们最厌倦的软件。 因此很多人迷上了 AI 换脸。现在，你可以用 Avatarify 将自己的脸替换成别人的脸，并且是实时的，在视频会议中的表现也十分流畅。目前这个项目已经登上了 GitHub 热榜，短短几天揽获 4000 多星。 项目地址： https:// github.com/alievk/avata rify 效果展示 如上图所示，作者将一张红色格子衫的照片导入，照片中的五官也会随着视频中真人的五官动作做出相应的变化。当挑起眉毛，眨眼睛，说话等等动作时，新的图像都会和真实的操作者保持一致。所以，在实时视频中换脸也就毫无违和感了，看起来真如同换了个人在开会！ 当然，你也可以尝试一些更有意思的，比如看爱因斯坦眨眼睛，埃米纳姆的凝视，乔布斯挑眉毛，还有被玩坏了的蒙娜丽莎等等...... 只要你想，可以换成任何人。 方法介绍 项目作者之一 Ali Aliev 介绍说，Avatarify 使用了今年三月一篇 arXiv 论文的方法「First Order

论文地址 https://arxiv.org/abs/2004.05150 ​ arxiv.org The Long-Document Transformer，顾名思义，就是应用在长文本场景下的Transformer。 本文作者是这几位大大：Iz Beltagy、Matthew E. Peters、Arman Cohan 他们都来自Allen Institute for Artificial Intelligence(AI2) 背景 先介绍一下这篇论文的背景。 我们都知道Transformer架构很强，成功的部分原因在于自注意力机制，自注意力机制使网络能够从整个序列中捕获上下文信息 但是虽然自注意力机制很有效，但它所需的内存和算力会随着序列长度呈平方增长，这使得当前硬件在处理长序列的情况下不可行，或者说非常昂贵、代价很大。 现有的方法是将上下文缩短或者划分成为较小的序列，以限制这些序列在512的长度以内。但是这种划分可能导致重要的信息丢失。 那么，为了解决这个问题，作者就提出了Longformer 它的attention包括窗口化的局部上下文的self attention和由终端任务激活的全局attention。 局部attention用来建立局部的上下文表示，全局attention用来建立完整的序列表示以进行预测。 模型 前面提到，现有的注意力计算方法时间和空间复杂度都是O(n²)