gpu服务器

1. 先从阿里云租个服务器，因为是测试，配置不用太高。 选择Centos 7.2 64位 2. 通过XShell 6连接： 2.1 这个当然百度就有 2.2 前提是先下好Xmanager Power Suite 6并且激活 3. 连接之后等待他启动配置GPU啥的，这个不需要自己操作 4. 连接成功先看看购买的服务器性能： nvidia-smi 可以通过这里 了解更多 关于GPU的信息 我们看到只有一个GPU，而且性能为P0，说明性能状态很好 5. 查看内置Python版本，并且更新pip，包等 5.1 查看python版本 发现是python3.6.9，那就不用下了嘛！（牛逼了！一般linux自带的都是python2，这个已经装好了python3）因为平时用的就是python3。 关于一般的linux从头安装python可以看看我的这篇文章： 5.2 然后查看pip版本 居然也是最新的！所以那基本上只要安装各种包了嘛~ 关于一般的linux从头安装python可以看看我的这篇文章： 服务器Linux上配置python3以及pip 5.3 装包 一般的linux服务器装完python3后是通过pip3装包的，因为pip是默认为python2环境装，但是这里既然默认环境为python3，那么就肯定直接用pip装包啦！ 在这个代码中我们需要安装的包挺多的，先输进去看看哪些包已经有了

linux+cuda10.0 参考了官网的方法，总是报错，提示缺少cudatoolkit 最终参考了这篇博客 https://blog.csdn.net/tiandd12/article/details/102967888 手动下载了对应版本的torch与torchvision两个文件 地址： https://download.pytorch.org/whl/cu100/torch-1.3.0%2Bcu100-cp36-cp36m-linux_x86_64.whl https://download.pytorch.org/whl/cu100/torchvision-0.4.1%2Bcu100-cp36-cp36m-linux_x86_64.whl 然后pip安装，查看 在cuda10.0下安装好的GPU版本的pytorch版本后会有“+cu100”， 测试GPU是否可用： 应该是安装成功了 后续有问题再回来修改。 来源： CSDN 作者： ycyang133 链接： https://blog.csdn.net/qq_41573611/article/details/103489482

LXD安装 需求 实验室有两台配置不高，显卡还算可以的服务器，用来作为深度学习的实践和学习。但是实验室人多，隔离环境必不可少，但是服务器cpu和内存并不高，跑虚拟机太重太浪费，跑docker又不合适。于是有了LXD的方案。 需求列表 ： 不同用户之间不能相互影响 用户要能方便地访问自己的“虚拟机” 用户要有足够大的权限，能自由地安装程序，能自由地访问网络 用户不被允许直接操作宿主机 用户要能够使用 GPU 为满足这些需求，额外的开销应该小得可以忽略 管理员应该能轻松地添加新的用户 方案发现 前面说了虚拟机太重，在机器本身配置不高的情况下负担太重，而且显卡是1080&1080ti（两台机器分别为1080*2, 1080ti*2），并不支持显卡虚拟化，也就是说一张卡只能在在同一时间供给一个虚拟机，这显然太浪费了。 考虑过docker，但是docker毕竟是应用级的容器，单进程，文件系统冗余太多，操作久了整个docker文件非常庞大，并不适合将它当虚拟机用。 我们需要的是开销小的虚拟机或者说环境隔离，安全性并不重要，在搜索中发现了docker的前身LXC(Linux Container)，一个系统级的容器，非常适合我们的需求，可以当作一个低开销的虚拟机。 至于LXC和Docker的区别，这里就不进行细表了，毕竟我也了解的不多，只能说LXC更符合我的需求。 互联网是强大的

第25章 Pytorch 如何高效使用GPU 深度学习涉及很多向量或多矩阵运算，如矩阵相乘、矩阵相加、矩阵-向量乘法等。深层模型的算法，如BP，Auto-Encoder，CNN等，都可以写成矩阵运算的形式，无须写成循环运算。然而，在单核CPU上执行时，矩阵运算会被展开成循环的形式，本质上还是串行执行。GPU（Graphic Process Units，图形处理器）的众核体系结构包含几千个流处理器，可将矩阵运算并行化执行，大幅缩短计算时间。随着NVIDIA、AMD等公司不断推进其GPU的大规模并行架构，面向通用计算的GPU已成为加速可并行应用程序的重要手段。得益于GPU众核（many-core）体系结构，程序在GPU系统上的运行速度相较于单核CPU往往提升几十倍乃至上千倍。 目前，GPU已经发展到了较为成熟的阶段。利用GPU来训练深度神经网络，可以充分发挥其数以千计计算核心的能力，在使用海量训练数据的场景下，所耗费的时间大幅缩短，占用的服务器也更少。如果对适当的深度神经网络进行合理优化，一块GPU卡相当于数十甚至上百台CPU服务器的计算能力，因此GPU已经成为业界在深度学习模型训练方面的首选解决方案。 如何使用GPU？现在很多深度学习工具都支持GPU运算，使用时只要简单配置即可。Pytorch支持GPU，可以通过to(device)函数来将数据从内存中转移到GPU显存

给数据科学家提供最好的工作工具是非常困难的。他们的电脑上几乎需要有所有的功能，如极致的性能，最新的软件，以及随心所欲的试验。 我们为此开发了一套满足上述所有需求的方案，并且避免了经常困扰系统管理员和开发团队构建系统的重复性劳动。 tl;dr - 环境创建代码已经上传至Github上。 它目前仍然是完善中的实验品，但是已经可以工作。因为它的许多工具目前都还在软件生存周期的早期，所以它日后会越来越好。 告别云 对于计算密集型业务，公有云的托管费用高的令人望而却步。一个AWS上高性能的跑在GPU上的虚拟机大概要超过正常价格20倍的费用，以日计费会更贵。年费大约是25,000美元。 内部部署的虚拟服务器会相对便宜点，但是并没有对这些科学计算的用例而针对性调整，并且也不是共享环境友好的。 当然，还有其他一些问题… … 你好，老朋友 你身边的服务器又回来了，并且比以往更好。Nvidia在2015年发布了“Dev Box”，一种数据科学家的梦想机器。虽然它有一点点小贵，大概15,000美元。 Andrej Karpathy 创建了一个相对完美并且廉价的家庭套装。并且它可以扩展到和Nvidia的机器同样的性能。我们的产品相当类似，并且给它找了个好地方，就在桌子的右下角。 开发即产品 现在你已经有了合适的硬件。然后你可以参照Nvidia的指示文档来安装和配置所需的所有软件

1.查看服务器中GPU信息: 转自这里--> https://blog.csdn.net/handsome_bear/article/details/80903477 nvidia-smi 2.使用单个gpu： 转自--> https://blog.csdn.net/yzy__zju/article/details/85014576 # 指定gpu/cpu, 指定使用gpu号x ‘cuda:x’ device=torch.device("cuda:0" if torch.cuda.is_available() else "cpu") # 网络转gpu model=model.to(device) # tensor转gpu x=x.to(device) y=y.to(device) 3.多gpu并行： 转自--> https://blog.csdn.net/qq_19598705/article/details/80396325 （1）使用torch.nn.DataParallel进行多gpu并行处理，官方文档给出了工作原理和注意事项： https://pytorch.org/docs/stable/nn.html#torch.nn.DataParallel （2）具体使用方法 在定义模型和优化器时做出的更改： # 指定gpu号 device_ids = [0,1,2,3] #

一个晚上1.5倍速刷完docker的一系列教学视频 尚硅谷_Docker核心技术（基础篇） 再加上看过一本docker的书，算是基本知道了docker的一些操作 使用的 是endernewton的 faster rcnn ，使用的是tensorflow框架 在GPU服务器上训练和测试大致也是【docker部署运行环境】【文件上传】【编译运行】这些操作 （一）为什么使用docker 其实docker更大的用处应该是用来提供一个完整的运行环境分发给需要运行该程序的其他人，这个在教学视频中讲得很清楚。而这里使用docker，个人理解是因为GPU服务器上多个用户之间运行环境的隔离，大家相安无事和谐共处，自己的程序只在自己的容器里运行，需要什么软件包什么依赖不会影响全局。 （二）前情提要 1. 在GPU服务器上注册好个人用户，并加入了docker用户组（不用sudo即可使用docker） 2. 服务器上已经装好适配GPU和显存的驱动，nvidia-docker （三）容器创建 1. 登录服务器 2. 使用nvidia-docker拉取一个Tensorflow-gpu-py3的镜像并创建一个交互式容器，命名为tf docker run --runtime=nvidia -it --name tf daocloud.io/daocloud/tensorflow:1.9.0-gpu-py3

目录 简介 GPU驱动 Nvidia-docker Nvidia-device-plugin 在Kubernetes上运行GPU应用 附录 简介 伴随着人工智能技术的发展，机器学习的应用场景越来越广泛 深度学习的实现，需要多种技术进行支撑，比如服务器、GPU、集群、集群管理调度软件、深度学习框架、深度学习的具体应用等 随着Kubernetes的兴起，越来越多的训练任务也都直接运行在Kubernetes之上，这些基于GPU的应用也为Kubernetes的应用管理带了一定的挑战 我也一直在致力于推动公司业务上容器，本篇文档我们就来聊一聊在Kubernetes上如何管理GPU应用。 GPU驱动 要管理GPU应用，首先要解决的自然就是GPU的驱动。 首先我们得有一台带有gpu的服务器。可通过如下指令查询gpu型号（我这里以nvidia为例）： # lspci |grep -i nvidia 00:08.0 3D controller: NVIDIA Corporation GP104GL [Tesla P4] (rev a1) 上面显示这台机器有一块nvidia的显卡，型号为Tesla P4，可以通过下面的指令查看更详细的信息： # lspci -v -s 00:08.0 00:08.0 3D controller: NVIDIA Corporation GP104GL [Tesla P4

nvidia在cuda之后推出一种官方生成更好视频处理技术nvenc。 网上相关资料很少， 也不知道这个东西到底怎么样，自己测试一下吧。 1. 硬件配置 CPU: Intel(R) Core(TM)2 Quad CPU Q8400 @ 2.66GHz 显卡： NVIDIA Tesla K10 （注：这个显卡还比较挑主板，自己攒的比较给力的机器主板不识别，用了台比较老旧的服务器。。。） 系统： centos6.2 64 2. 下载 在官网上根据自己设备下载驱动：http://www.nvidia.com/Download/index.aspx?lang=en-us 我是直接下载了SDK，里面有驱动。 http://developer.download.nvidia.com/compute/nvenc/v3.0/nvenc_3.0_linux_sdk.tgz 3. 驱动安装 参考： centos6.2下装NVIDIA显卡安装 4. 测试 运行SDK提供的Sample例程，出现了小问题： [root@localhost nvEncodeApp]# ./nvEncoder ./nvEncoder: /lib64/libc.so.6: version `GLIBC_2.14' not found (required by ./nvEncoder) 额，动态库问题。 有两种方法解决： a.

转载于： https://www.cnblogs.com/dahu-daqing/p/9288157.html nvidia-smi 的定义： 基于 NVIDIA Management Library （NVIDIA 管理库），实现 NVIDIA GPU 设备的管理和监控功能 主要支持 Tesla, GRID, Quadro 以及 TitanX 的产品，有限支持其他的 GPU 产品 所以我们在常见的 NVIDIAGPU 产品上安装完驱动后，都同时安装上 nvidia-smi 管理工具，帮助管理人员通过命令行的方式对 GPU 进行监控和管理。 当我们成功部署了 GRID 软件以后，我们可以通过以下 nvidia-smi 命令实现对 GPU 的管理。 nvidia-smi 会随着 GRID 软件不断的升级，而功能不断的丰富，所以当我们在执行一些复杂的 nvidia-smi 命令时，可能早期的 GRID 版本无法支持这些命令。 以下 nvidia-smi 常用命令行是个人推荐了解的： nvidia-smi 这是服务器上特斯拉 K80 的信息。 上面的表格中： 第一栏的 Fan：N/A 是风扇转速，从 0 到 100% 之间变动，这个速度是计算机期望的风扇转速，实际情况下如果风扇堵转，可能打不到显示的转速。有的设备不会返回转速，因为它不依赖风扇冷却而是通过其他外设保持低温