cuda

基于ZStack构建深度学习云平台

不羁岁月 提交于 2020-03-17 19:01:31
某厂面试归来,发现自己落伍了!>>> 深度学习是机器学习和人工智能研究的热门分支,也是当今最流行的科学研究趋势之一。深度学习方法为计算机视觉、机器学习带来了革命性的进步,而新的深度学习技术也正在不断诞生。由于深度学习正快速发展,新的研究者很难对这一技术实时跟进。国内各大公有云厂商都提供了相应的深度学习相关产品,但对于初学者并不那么实用。本文将介绍基于产品化云平台——ZStack,来构建对初学者友好、易运维、易使用的深度学习云平台。 由于ZStack的轻量性,我们仅通过一台普通PC机就能部署云平台,进而实现深度学习平台构建。读者可结合本文轻松扩展出规模更大、功能更为完备的深度学习云平台。 1 、ZStack简介 ZStack是下一代开源的云计算IaaS(基础架构即服务)软件。它主要面向未来的智能数据中心,通过提灵活完善的APIs来管理包括计算、存储和网络在内的数据中心资源。用户可以利用ZStack快速构建自己的智能云数据中心,也可以在稳定的ZStack之上搭建灵活的云应用场景。 ZStack功能架构 ZStack 产品优势: ZStack是基于专有云平台4S(Simple简单,Strong健壮,Scalable弹性,Smart智能)标准设计的下一代云平台IaaS软件。 1. 简单(Simple) • 简单安装部署:提供安装文件网络下载,30分钟完成从裸机到云平台的安装部署。 •

Ubuntu18.04 云服务器安装NVIDIA-DRIVER,CUDA,CUDnn

孤人 提交于 2020-03-17 18:59:19
某厂面试归来,发现自己落伍了!>>> nvidia-driver 参考: https://docs.nvidia.com/datacenter/tesla/tesla-installation-notes/index.html#ubuntu-lts This section includes instructions for installing the NVIDIA driver on Ubuntu 16.04 LTS and Ubuntu 18.04 LTS distributions using the package manager. The NVIDIA driver requires that the kernel headers and development packages for the running version of the kernel be installed at the time of the driver installation, as well whenever the driver is rebuilt. For example, if your system is running kernel version 4.4.0, the 4.4.0 kernel headers and development packages must

【linux】安装cuda+cudnn

风流意气都作罢 提交于 2020-03-17 09:18:09
检查Driver Note: 一台机器只能对应一个nvidia driver,而一个nvidia driver可以对应多个cuda。只要在自己的路径下把cuda指定成特定版本就行。 尽量不要使用/usr/local/下面的默认cuda/,防止因为ln对象会发生变化而造成影响。 nvidia driver版本 决定了 可用的cuda范围, 进而决定了 可用的tensorflow-gpu版本。所以,每次上一台新机器前,首先确定nvidia driver版本。 查看nvidia driver版本: cat /proc/driver/nvidia/version Table 1. CUDA Toolkit and Compatible Driver Versions : 安装Cuda 查看本机操作系统: cat /etc/issue 前往英伟达官网,下载对应的cuda版本: Note: 以下以cuda9.0为例。 安装cuda: sudo sh cuda_9.0.176_384.81_linux.run Note: 勿装driver!否则会安装失败! 写入对应路径: vim ~/.bashrc export PATH = /usr/local/cuda-9.0/bin: $PATH export LD_LIBRARY_PATH = /usr/local/cuda-9.0/lib64:

【tensorflow】安装tensorflow

徘徊边缘 提交于 2020-03-17 03:28:35
安装TensorFlow 有Cuda 检查可安装的tensorflow-gpu版本范围: 安装: pip install tensorflow-gpu 无Cuda 检查可安装的tensorflow版本范围: 安装: pip install tensorflow 来源: CSDN 作者: JNingWei 链接: https://blog.csdn.net/JNingWei/article/details/104879433

Mask_RCNN入门(三)—— 使用gpu进行训练和测试

匆匆过客 提交于 2020-03-16 15:26:02
cpu换成gpu 之前的工作: Mask_RCNN入门(一)—— 跑通代码 Mask_RCNN入门(二)—— 训练自己的数据集 其实是在CPU上跑的,这一点可以在requirements.txt中可以看到: tensorflow就是CPU版,GPU版本是tensorflow-gpu。 所以第一步是卸载tensorflow,安装tensorflow-gpu,为了避免兼容性冲突,tensorflow-gpu同样使用1.6.0版本。 卸载tensorflow: python -m pip uninstall tensorflow 安装tensorflow-gpu: python -m pip install tensorflow-gpu==1.6.0 driver,CUDA,cuDNN和tensorflow-gpu 安装完tensorflow-gpu之后,如果直接运行demo.py或者train.py会报错: ImportError: Could not find 'cudart64_90.dll’ 其实信息明确了,到指定网址下载安装CUDA 9.0。 这里开一下上帝视角:CUDA,包括后面同样会报错需要下载的cuDNN,它们是什么,还有和CUDA版本紧密相关的显卡驱动又是什么? driver 这个最好理解,这个和键盘驱动,鼠标驱动,打印机驱动等等没本质区别,计算机(确切地说是CPU

视频剪辑必备,聊聊我的PR都装了哪些神奇插件?

好久不见. 提交于 2020-03-16 11:49:11
某厂面试归来,发现自己落伍了!>>> 做剪辑的朋友在用到剪辑软件的同时,少不了也会用到各式各样的插件。因为插件就像是外挂一样,原来很难用软件本身完成的效果,有了插件之后分分钟就能搞定!相信大家剪辑视频用到最多的就是pr,有小伙伴就问了,用pr剪辑视频都用哪些插件呢?今天macdown小编就来谈一谈我的PR都装了哪些神奇插件? 以下插件也适用于fcpx/AE等视频剪辑软件! 一、Flicker free:去除频闪插件 由于我们肉眼和摄像几捕捉的光线频率不一样,所以我们有时候用摄像机捕捉的视频会出现光闪烁的现象,Flicker Free 插件能就能帮助我们弥补这一缺陷,能够很好的处理光闪烁的现象:光闪烁,延时拍摄闪烁,动态闪烁。解决做延时摄影或拍摄慢动作(高帧速率)视频产生的闪光。 同时它也可以非常有效的去除LED灯,电脑显示器或当有电气干扰时产生的闪烁,用法也非常简单! Flicker Free for Mac(AE/PR视频去闪烁插件 二、Beauty Box:磨皮美颜插件 视频剪辑软件里怎能少的了美颜插件呢? Beauty Box自动识别皮肤色调,并创建一个面具,将光滑效果限制在皮肤区域。只需应用过滤器,让它分析视频,设置一些平滑选项,让插件渲染使皮肤修饰非常容易! 它同时支持CUDA和OpenCL,使我们可以实时或近乎实时地播放Nvidia和AMD图形卡

jetson nano opencv3.4.5安装,与opencv4.1.1共存

丶灬走出姿态 提交于 2020-03-12 12:38:53
我的JETSON NANO 烧完系统后,已经存在了OPENCV4.1.1,但是现在大量的代码还在用OPENCV3,所以需要手动安装一份 记录一下安装过程中的报错及解决 opencv3.4.5以及opencv_contrib-3.4.5及ippicv分享 链接:https://pan.baidu.com/s/1-gtr7cgkZ1tlDdqw4Eu-Hg 提取码:mcz0 将opencv_contrib-3.4.5解压在opencv3.4.5目录下 依赖项参考 这个 源码编译OpenCV卡在ippicv 解决办法 (必做) 带CUDA的OPENCV编译 cd opencv-3.4.5 mkdir build cd build cmake -D CMAKE_BUILD_TYPE = RELEASE -D CMAKE_INSTALL_PREFIX = /usr/local/opencv3 -DOPENCV_EXTRA_MODULES_PATH = /home/cz/opencv-3.4.5/opencv_contrib-3.4.5/modules -D WITH_CUDA = ON -D WITH_TBB = ON -D BUILD_NEW_PYTHON_SUPPORT = ON -D WITH_V4L = ON -D INSTALL_C_EXAMPLES = ON -D INSTALL

为电脑配置GPU加速(win10+python3.6+tensorflow-gpu1.12.0)

穿精又带淫゛_ 提交于 2020-03-12 11:28:47
本教程基于win10系统,所用到的工具为Anaconda3,PyCharm 你需要已经安装好以上工具,具体操作略。 首先确定你的显卡是否支持gpu加速,可在 nvidia官网 查看是否有你的显卡所对应的算力,如图。 为了不影响其他的工作环境,本教程创建anaconda虚拟python环境,打开Anaconda Prompt,输入指令 conda create - n your_env_name python==3 . 6 待安装完成后,输入指令 conda env list conda会罗列出所有你所创建的环境,如图 输入如下指令,进入conda虚拟python环境,接下来的所有操作都在此虚拟环境下进行 activate your_env_name 如图进入python虚拟环境 安装tensorflow-gpu 接下来输入如下指令安装tensorflow-gpu pip install tensorflow - gpu 如需安装指定版本(例如1.12.0)键入 pip install tensorflow - gpu==1 . 12 . 0 安装过程会安装tensorflow-gpu及其依赖包,耗时略长,建议更换国内源,例如中科大、清华、豆瓣等 (tensorflow还有离线安装方式,本教程略) 待安装完成后并不能正常运行,会报错DLL缺少模块

CUDA: CUtil timer - confusion on elapsed time

99封情书 提交于 2020-03-12 05:31:09
问题 When I assess my program, I saw that at some point I get up to 100msec time lapse. I have searched every operation, but individually no operation was taking this time. Then I have noticed that wherever I do place cudaThreadSynchronize call, the first call takes 100 msec. Then I have written such an example below. When cudaThreadSynchronize is called at the first line, the elapsed time value at the end is found less than 1 msec. But if it is not called then it takes 110msec on average. int

中文----pg的gpu加速扩展技术总结

不想你离开。 提交于 2020-03-09 18:21:18
文章目录 PG-Strom总结 要求配置 PG-Strom实现原理细节 1 NVME-Strom module EXPLAIN指令看query语句是否由GPU执行 CPU-GPU混合式并行: 如果啥,则并不会有更好的性能。 MPS daemon(多进程服务守护进程): 11 GPU Memory Store(gstore_fdw 12 PL/CUDA: 一旦PL/CUDA用CREATE FUNCTION声明一个函数 参考链接 PG-Strom总结 用GPU来加速SQL上的操作 其GPU代码生成器根据SQL语句生成 对应的在英伟达的CUDA(统一计算架构)的GPU程序 它的“SSD-to-GPU Direct SQL”机制 允许直接将数据从NVME的固态硬盘传到GPU 他的“PL/CUDA”和“gstore_fdw”允许运行高计算密度的问题。 要求配置 硬件服务器: 64位的能运行支持CUDA Toolkit(用来开发CUDA程序的工具)的Linux操作系统的x86硬件。 “SSD-to-GPU Direct SQL”需要支持NVMe规范的固态硬盘,且和GPU安装在同一个PCIe Root Complex下。 GPU设备:至少一个支持CUDA Toolkit的计算能力6.0的GPU 操作系统:由CUDA Toolkit支持的x86 64位Linux PostgreSQL:9