cuda

mmdetection(一)安装及训练、测试VOC格式的数据

时间秒杀一切 提交于 2020-04-21 00:28:54
一、安装 https://github.com/open-mmlab/mmdetection/blob/master/docs/INSTALL.md 二、训练自己的数据  1、数据  mmdet的默认格式是coco的,这里就以voc格式为例,data下文件夹摆放位置如图 2、训练 (1)修改configs文件下的文件    可先复制一份,然后自己命名一下。比如retinanet_x101_64x4d_fpn_1x.py,修改的部分主要是dataset settings部分,这部分可直接参考 pascal_voc/faster_rcnn_r50_fpn_1x_voc0712.py(如下);还有一部分是修改该文件下的num_classes(类别数+1) # dataset settings dataset_type = ' VOCDataset ' data_root = ' data/VOCdevkit/ ' img_norm_cfg = dict( mean =[123.675, 116.28, 103.53], std=[58.395, 57.12, 57.375], to_rgb= True) train_pipeline = [ dict(type = ' LoadImageFromFile ' ), dict(type = ' LoadAnnotations ' ,

基于PaddlePaddle的Attention Cluster 视频分类模型

烈酒焚心 提交于 2020-04-20 18:09:06
模型简介 Attention Cluster模型为ActivityNet Kinetics Challenge 2017中最佳序列模型。该模型通过带Shifting Opeation的Attention Clusters处理已抽取好的RGB、Flow、Audio特征数据,Attention Cluster结构如下图所示。 Shifting Operation通过对每一个attention单元的输出添加一个独立可学习的线性变换处理后进行L2-normalization,使得各attention单元倾向于学习特征的不同成分,从而让Attention Cluster能更好地学习不同分布的数据,提高整个网络的学习表征能力。 详细内容请参考 Attention Clusters: Purely Attention Based Local Feature Integration for Video Classification 优秀解读博客 https://www.colabug.com/5709529.html 本例采用的是YouTube-8M 2018年更新之后的数据集。使用官方数据集,并将TFRecord文件转化为pickle文件以便PaddlePaddle使用。Youtube-8M数据集官方提供了frame-level和video-level的特征。本例挂靠的数据集为预处理后的数据集,

ubuntu16.04服务器上无root权限,配置个人tensorflow环境--cuda9.0+cuDNN7+tensorflow-gpu-1.8

此生再无相见时 提交于 2020-04-20 14:49:02
本人在服务器上已经用Anconda创建好python3.5的环境,这个网上有一大堆教程。接下来是重点。 1. cuda的安装 https://developer.nvidia.com/cuda-downloads ,选runfile(local)这个文件下载然后执行如下代码 sh cuda_9.0.176_384.81_linux-run chmod +x filename.run #如果不能直接运行,执行这个命令 在协议中选择同意EULA(accept),不安装driver installation (no),然后再安装cuda时选择个人用户的目录,如/home/yourname/cuda9,以及cudasamples的目录。 nvidia- smi #查看显卡驱动运行状态 nvcc -V #查看cuda-toolkit安装是否成功 2.cuDNN文件导入cuda安装目录对应的位置 https://developer.nvidia.com/cudnn ,这个需要注册,然后选择cudnn-9.0-linux-x64-v7.tgz这个下载--lib库 cp cuda/include/cudnn.h cuda9/include/ #cuda9是个人用户的下的目录/home/yourname/ cuda9 cp cuda /lib64/libcudnn* cuda9/ lib64/

【AI-人工智能-mmdetection】ModuleNotFoundError: No module named 'mmdet.version'

醉酒当歌 提交于 2020-04-19 04:55:04
在集成 mmdetection 框架时遇到这样的问题。 ModuleNotFoundError: No module named 'mmdet.version' mmdetection 框架搭建过程很容易忽略 编译过程 root@48ea75026556:/mmdetection# python sg-pcr-client/ pcr_agant_new.py Traceback (most recent call last ): File " sg-pcr-client/pcr_agant_new.py " , line 9 , in <module> from pr_handler_new import PicRecHandler File " /home/mmxsrt/sg-pcr-client/pr_handler_new.py " , line 4 , in <module> from mmdet.apis import init_detector, inference_detector, show_result File " /mmdetection/mmdet/__init__.py " , line 1 , in <module> from .version import __version__, short_version ModuleNotFoundError:

MMDetection 安装 | 一

旧城冷巷雨未停 提交于 2020-04-18 18:18:59
作者|open-mmlab 编译|Flin 来源|Github 引言 MMDetection是一款优秀的基于PyTorch的深度学习目标检测工具箱,由香港中文大学(CUHK)多媒体实验室(mmlab)开发。基本上支持所有当前SOTA二阶段的目标检测算法,比如faster rcnn,mask rcnn,r-fcn,Cascade-RCNN等。读者可在 PyTorch 环境下测试不同的预训练模型及训练新的检测分割模型。 根据 GitHub 项目所述,MMDetection的主要特征可以总结为以下几个方面: 模块化设计:将检测或者分割任务分解成几个模块,通过模块的组合即可完成相应的任务。 支持多个框架,开箱即用:该工具包直接支持多种流行的检测框架,如 Faster RCNN、Mask RCNN、RetinaNet 等。 高效:所有基础边界框和掩码运算都在 GPU 上运行。不同模型的训练速度大约比 FAIR 的 Detectron 快 5% ~ 20%。 技术发展水平: 达到了目前最先进的水平。 翻译过程中难免有所疏漏,如发现错误,希望大家指出,谢谢支持。 目录 MMDetection安装 了解如何在计算机上安装MMDetection MMDetection入门 学习有关MMDetection用法的基本教程。 基准测试和model zoo 介绍各种模型的训练环境和基准测试

移动硬盘完美安装Ubuntu18.04(不影响存储功能)

浪子不回头ぞ 提交于 2020-04-18 15:35:30
目标 笔记本电脑上的显卡驱动无法更新,有一些小代码需要用到CUDA10就必须更新驱动,正好手上有一个2T的移动硬盘,想试试在移动硬盘上安装ubuntu18.04系统然后在ubuntu下重新安装显卡驱动,并实现插上硬盘就可以选择系统(双系统),同时移动硬盘本身的存储功能不受影响,也就是说移动硬盘有两个功能:系统盘功能和存储功能。 工具 Rufus(制作U盘启动盘)、DiskGenius(调整移动硬盘的分区大小)、U盘、移动硬盘 Step1:下载ubuntu18.04镜像文件 https://mirrors.tuna.tsinghua.edu.cn/ubuntu-releases/18.04/ Step2:修改移动硬盘分区 这一步看了很多博主都说首先要把移动硬盘格式化,我觉得没有必要,有效操作是直接从硬盘的现存分区压缩出安装ubuntu系统的 空闲空间 即可,注意是压缩出空闲空间,并且这个空闲空间需要在整个磁盘的前面,因为系统引导项只扫描前137G空间,如果这片空间在磁盘尾很有可能安装之后ubuntu无法启动,这里需要用到DiskGenius,windows自带的磁盘管理无法做到调整压缩空间的位置。 压缩之后的效果如图,可以看到磁盘首是我压缩出来的600G空闲空间,同时注意红框,移动硬盘的架构是MBR,压缩出来就可以不用管了,具体的分区操作等到安装环节再来设置,那么剩下的1

《一次性解释清楚什么是gpu挖矿》

一个人想着一个人 提交于 2020-04-18 09:58:58
做一个牛逼闪闪的程序员,指的不是技术,是蔑视技术的态度。 − − − − T a n g s h u n c a i \color{#222514}{-}\color{#222514}{-}\color{#222514}{-}\color{#222514}{-}\color{#4285f4}{T}\color{#ea4335}{a}\color{#fbbc05}{n}\color{#4285f4}{g}\color{#34a853}{s}\color{#ea4335}{h}\color{#4285f4}{u}\color{#fbbc05}{n}\color{#34a853}{c}\color{#ea4335}{a}\color{#fbbc05}{i} − − − − T a n g s h u n c a i cpu与gpu的区别: cpu适合做不同的任务,gpu适合做重复性比较多的工作。 cpu是领导,gpu是板砖的。 以下图示分别是gpu和gpu的硬件组成: 从组成模块上面看,gpu的算数逻辑单元数量众多,是cpu的几百倍。对于重复性的计算,gpu相当于有1024个核在并发执行(注意:此处是于操作系统的并发是两个不同的概念,此处是同一时刻的并发,而操作系统是一个时间段的并发),而cpu只有4个核在执行。速度上面自然是gpu快很多。 以下是实物图: gpu执行时间对比:

PaddlePaddle/PaddleDetection

风格不统一 提交于 2020-04-17 03:42:32
【推荐阅读】微服务还能火多久?>>> English | 简体中文 PaddleDetection PaddleDetection的目的是为工业界和学术界提供丰富、易用的目标检测模型。不仅性能优越、易于部署,而且能够灵活的满足算法研究的需求。 目前检测库下模型均要求使用PaddlePaddle 1.7及以上版本或适当的develop版本。 简介 特性: 易部署: PaddleDetection的模型中使用的核心算子均通过C++或CUDA实现,同时基于PaddlePaddle的高性能推理引擎可以方便地部署在多种硬件平台上。 高灵活度: PaddleDetection通过模块化设计来解耦各个组件,基于配置文件可以轻松地搭建各种检测模型。 高性能: 基于PaddlePaddle框架的高性能内核,在模型训练速度、显存占用上有一定的优势。例如,YOLOv3的训练速度快于其他框架,在Tesla V100 16GB环境下,Mask-RCNN(ResNet50)可以单卡Batch Size可以达到4 (甚至到5)。 支持的模型结构: ResNet ResNet-vd 1 ResNeXt-vd SENet MobileNet HRNet Res2Net Faster R-CNN ✓ ✓ x ✓ ✗ ✗ ✗ Faster R-CNN + FPN ✓ ✓ ✓ ✓ ✗ ✓ ✓ Mask R-CNN ✓ ✓

PaddlePaddle/DeepSpeech

别来无恙 提交于 2020-04-16 11:22:01
【推荐阅读】微服务还能火多久?>>> 语音识别: DeepSpeech2 English DeepSpeech2 是一个采用 PaddlePaddle 平台的端到端自动语音识别(ASR)引擎的开源项目,具体原理参考这篇论文 Baidu's Deep Speech 2 paper 。 我们的愿景是为语音识别在工业应用和学术研究上,提供易于使用、高效和可扩展的工具,包括训练,推理,测试模块,以及 demo 部署。同时,我们还将发布一些预训练好的英语和普通话模型。 目录 安装 开始 数据准备 训练模型 数据增强流水线 推断和评价 在 Docker 容器上运行 超参数调整 训练汉语语言 用自己的声音尝试现场演示 发布模型 试验和基准 问题和帮助 安装 为了避免环境配置问题,强烈建议在 Docker容器上运行 ,否则请按照下面的指南安装依赖项。 前提 只支持Python 2.7 PaddlePaddle 1.6.0 版本及以上(请参考 安装指南 ) 安装 请确保以下库或工具已安装完毕: pkg-config , flac , ogg , vorbis , boost 和 swig , 如可以通过 apt-get 安装: sudo apt-get install -y pkg-config libflac-dev libogg-dev libvorbis-dev libboost-dev

CUDA unified memory and Windows 10

假装没事ソ 提交于 2020-04-14 07:29:35
问题 While using CudaMallocManaged() to allocate an array of structs with arrays inside, I'm getting the error "out of memory" even though I have enough free memory. Here's some code that replicates my problem: #include <iostream> #include <cuda.h> #define gpuErrchk(ans) { gpuAssert((ans), __FILE__, __LINE__); } inline void gpuAssert(cudaError_t code, const char *file, int line, bool abort=true) { if (code != cudaSuccess) { fprintf(stderr,"GPUassert: %s %s %d\n", cudaGetErrorString(code), file,