cuda

迁移模型运行手写数字加法机(MNIST)

偶尔善良 提交于 2020-08-11 05:19:12
# 导入所需要的包,请保证torchvision已经在你的环境中安装好 import torch import torch.nn as nn from torch.autograd import Variable import torch.optim as optim import torch.nn.functional as F import torchvision.datasets as dsets import torchvision.transforms as transforms import matplotlib.pyplot as plt import numpy as np import copy %matplotlib inline View Code # 加载数据+随机处理+两组不同MNIST数据集 # 设置图像读取器的超参数 image_size = 28 # 图像的总尺寸28*28 num_classes = 10 # 标签的种类数 num_epochs = 20 # 训练的总循环周期 batch_size = 64 # 批处理的尺寸大小 # 如果系统中存在着GPU,我们将用GPU来完成张量的计算 use_cuda = torch.cuda.is_available() # 定义一个布尔型变量,标志当前的GPU是否可用 # 如果当前GPU可用

Pycharm远程服务器编程环境并能使用Xming显示图像界面

懵懂的女人 提交于 2020-08-11 03:44:45
本文主要使用pycharm+Xming实现使用服务器的编程环境,并在本地显示图像界面, 同时使用Putty远程服务器终端,使用WinSCP可以从局域网向服务器快速传输文件。 主要使用的几个软件:、 Pycharm 专业版 putty Xming WinSCP 以上几个软件如果找不到,可以留言我发给你 1、首先介绍Pycharm 专业版,如果要远程服务器必须用专业版,社区版不行,有edu账号的话可以在官网上免费申请,没有的话可以去某宝上看看。免费申请的具体流程很简单,就是往edu邮箱上认证一下。 2、 打开新下载的Pycharm后,新建项目。 Pure Python —— Existing interpreter——点击Interpreter旁的浏览——SSH 第一次使用需要填ip地址,端口号默认就可以,Username 服务器名字 点击下一步,选择服务器上的python环境。如下图 点击完成后,注意这时候解释器已经显示了服务器的Pyyhon环境,同时Remote project location表示在服务器上想要同步的代码文件夹。点击创建即可。此时我们使用的Python环境已经是服务器上的了。 如果代码中需要用到一些服务器上的动态库,在服务器上代码可以运行,在本地显示缺少动态库,可能需要我们加在程序的环境变量中,例如,在开始运行时我缺少cuda的动态库,添加步骤如下: 点击运行—

能跑源码,还提供数据集:这里有一个入门企业级验证码识别项目

☆樱花仙子☆ 提交于 2020-08-11 01:13:13
  机器之心专栏    作者:kerlomz    网上关于验证码识别的开源项目众多,但大多是学术型文章或者仅仅是一个测试 demo,那么企业级的验证码识别究竟是怎样的呢?    1. 前言   网上关于验证么识别的开源项目众多,但大多是学术型文章或者仅仅是一个测试 demo,那么企业级的验证码识别究竟是怎样的呢?前方高能预警,这是一个生产水准的验证码识别项目,笔者可以向你们保证,它一定会是各位所见过的文章中最实用的,你甚至可以不需要懂代码写代码就能轻松使用它训练一个 99 识别率的模型。这才是企业级应该有的样子:算法开发负责框架,训练只需要一个实习生。不仅操作上简单,在可用性和稳定性上也是经得起考验。性能上,笔者使用腾讯云 1 核 1G 的机器测试:单次识别平均在 12ms 左右,再也不需要 GPU 部署了,CPU 一样可以日调百万。   不少初学者和笔者反应,安装环境太难了,没关系,都给你们安排好了,一行 pip 就能搞定环境的 MuggleOCR。   仓库地址: https://pypi.org/project/muggle-ocr   MuggleOCR 的体积有 6MB,其中附带了两个通用模型:简单通用验证码,普通 OCR。简而言之就是,再也不用愁验证码的样本不好标注了,它将是各位标注样本的利器,简单的验证码识别率能有 95% 以上,复杂的也有 50%-70% 左右

【pytorch-ssd目标检测】训练自己创建的数据集

时光怂恿深爱的人放手 提交于 2020-08-11 00:15:21
制作类似pascal voc格式的目标检测数据集: https://www.cnblogs.com/xiximayou/p/12546061.html 代码来源:https://github.com/amdegroot/ssd.pytorch 拷贝下来的代码好多坑要踩。。。 我将其上传到谷歌colab上,当前目录结构如下: 需要说明的是,虽然我们只有2类,但是,要加上背景一类,所以总共我们有3类。 首先我们要读取自己的数据集 在config.py中 # config.py import os.path # gets home dir cross platform # HOME = os.path.expanduser("~") HOME = os.path.expanduser("/content/drive/My Drive/pytorch_ssd/") # for making bounding boxes pretty COLORS = ((255, 0, 0, 128), (0, 255, 0, 128), (0, 0, 255, 128 ), (0, 255, 255, 128), (255, 0, 255, 128), (255, 255, 0, 128 )) MEANS = (104, 117, 123 ) mask = { 'num_classes': 3, 'lr

微星笔记本win10装Ubuntu18+NVIDIA驱动+cuda+cudnn+tensorRT+搜狗

僤鯓⒐⒋嵵緔 提交于 2020-08-10 23:46:46
@ 微星笔记本win10装Ubuntu18+NVIDIA驱动+cuda+cudnn+tensorRT+搜狗 1微星笔记本配置介绍 开始之前做一下介绍,记录一下整个装机过程以及未解决的问题。 笔记本配置:微星绝影GS65 stealth 9SE-670CN 整体配置还好,用来学机器学习的,顺便吐槽,无线网卡真心不好,无线新买的到手一个月坏了,送修,上来就装系统,装完回来又坏了。无奈!!!!!!只能说××微星。 2 装双系统Ubuntu18.04 为了能够方便跑模型,做个双系统。官方指定的维修点说不懂Ubuntu,醉了君莫笑。 开始自己动手…… win10系统下预留空间大小 右键“此电脑”选择“管理”后的“磁盘管理”中,无论是通过-压缩卷-还是,删除卷,预留出来一块没有卷号的灰色区域。 这个区域的作用是:装Ubuntu的时候,自动识别这块的区域,不用指定区域,懒人装法。 我是两块固态(0盘、1盘),刚开始是一个win10,另一个Ubuntu,后来决定合理利用资源,寸土寸金啊。 在0盘上分出170G的空间给Ubuntu,1盘拿来做公共盘,两个系统都用。 制作启动盘 在 Ubuntu官网 或者Ubuntu镜像文件下载系统文件。 下载UltraISO制作U盘启动盘,具体可以参考 U盘安装Ubuntu方法 。 安装Ubuntu系统 关机,重启,按住delete,进入界面后,有一项是-安全启动

TensorRT multiple Threads

跟風遠走 提交于 2020-08-10 19:30:08
问题 I am trying to use TensorRt using the python API. I am trying to use it in multiple threads where the Cuda context is used with all the threads (everything works fine in a single thread). I am using docker with tensorrt:20.06-py3 image, and an onnx model, and Nvidia 1070 GPU. The multiple thread approach should be allowed, as mentioned here TensorRT Best Practices. I created the context in the main thread: cuda.init() device = cuda.Device(0) ctx = device.make_context() I tried two methods,

【pytorch-ssd目标检测】验证自己创建的数据集

丶灬走出姿态 提交于 2020-08-10 19:09:33
制作类似pascal voc格式的目标检测数据集: https://www.cnblogs.com/xiximayou/p/12546061.html 训练自己创建的数据集: https://www.cnblogs.com/xiximayou/p/12546556.html 它的代码中的eval.py实际上使用的是test.txt里面的数据。 直接看修改后的代码:eval.py """ Adapted from: @longcw faster_rcnn_pytorch: https://github.com/longcw/faster_rcnn_pytorch @rbgirshick py-faster-rcnn https://github.com/rbgirshick/py-faster-rcnn Licensed under The MIT License [see LICENSE for details] """ from __future__ import print_function import torch import torch.nn as nn import torch.backends.cudnn as cudnn from torch.autograd import Variable # from data import VOC_ROOT,

How to specify custom CUDA compiler for CMake?

自闭症网瘾萝莉.ら 提交于 2020-08-10 18:55:16
问题 I am working to install xgboost on Ubuntu 20.04. I want to force CMake to use a specific CUDA installation (11.0) instead of the default one (10.1). However, the compiler repeatedly throws the error as follows: bill@magicMaker:~/xgboost/build$ cmake .. -DUSE_CUDA=ON -DR_LIB=ON . . . The CUDA compiler "/usr/bin/nvcc" is not able to compile a simple test program. It fails with the following output: Change Dir: /home/bill/xgboost/build/CMakeFiles/CMakeTmp Some of the attempted fixes included:

Pytorch遇到的错误解决方法

≯℡__Kan透↙ 提交于 2020-08-10 18:31:35
1. pytorch运行错误:RuntimeError: cuDNN error: CUDNN_STATUS_INTERNAL_ERROR 解决方法: 代码中添加: torch.cuda.set_device( 0 ) 2. 训练RNN网络loss出现Nan解决办法 (1). 梯度爆炸的原因可以通过梯度裁决解决 GRAD_CLIP = 5 loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), GRAD_CLIP) optimizer.step() (2)testModel和evaluate中需要使用 with torch.no_grad(): (3) 学习率调小一点 来源: oschina 链接: https://my.oschina.net/u/4228078/blog/4456343

【pytorch-ssd目标检测】训练自己创建的数据集

浪尽此生 提交于 2020-08-10 17:17:02
制作类似pascal voc格式的目标检测数据集: https://www.cnblogs.com/xiximayou/p/12546061.html 代码来源:https://github.com/amdegroot/ssd.pytorch 拷贝下来的代码好多坑要踩。。。 我将其上传到谷歌colab上,当前目录结构如下: 需要说明的是,虽然我们只有2类,但是,要加上背景一类,所以总共我们有3类。 首先我们要读取自己的数据集 在config.py中 # config.py import os.path # gets home dir cross platform # HOME = os.path.expanduser("~") HOME = os.path.expanduser("/content/drive/My Drive/pytorch_ssd/") # for making bounding boxes pretty COLORS = ((255, 0, 0, 128), (0, 255, 0, 128), (0, 0, 255, 128 ), (0, 255, 255, 128), (255, 0, 255, 128), (255, 255, 0, 128 )) MEANS = (104, 117, 123 ) mask = { 'num_classes': 3, 'lr