pytorch

Ubuntu 16.04上源码编译和安装pytorch教程,并编写C++ Demo CMakeLists.txt | tutorial to compile and use pytorch on...

|▌冷眼眸甩不掉的悲伤 提交于 2021-01-24 04:49:06
本文首发于个人博客 https://kezunlin.me/post/54e7a3d8/ ,欢迎阅读最新内容! tutorial to compile and use pytorch on ubuntu 16.04 PyTorch for Python install pytorch from anaconda conda info --envs conda activate py35 # newest version # 1.1.0 pytorch/0.3.0 torchvision conda install pytorch torchvision cudatoolkit=9.0 -c pytorch # old version [NOT] # 0.4.1 pytorch/0.2.1 torchvision conda install pytorch=0.4.1 cuda90 -c pytorch output The following NEW packages will be INSTALLED: pytorch pytorch/linux-64::pytorch-1.1.0-py3.5_cuda9.0.176_cudnn7.5.1_0 torchvision pytorch/linux-64::torchvision-0.3.0-py35_cu9.0.176_1

岗位内推 | 阿里巴巴设备风控团队招聘高级数据挖掘工程师

空扰寡人 提交于 2021-01-23 13:18:17
PaperWeekly 致力于推荐最棒的工作机会,精准地为其找到最佳求职者,做连接优质企业和优质人才的桥梁。如果你需要我们帮助你发布实习或全职岗位,请添加微信号 「pwbot02」 。 阿里安全设备风控团队招人啦~ 团队站在黑灰产攻防技术前沿,服务于整个阿里数字经济体。是集团唯一一只专注于设备风控及设备指纹的团队。团队技术氛围浓厚、小伙伴专业靠谱,包括但不限于 frida-ios-dump 作者、GeekPwn 获奖选手、CTF 大佬。在这里,基于复杂业务场景的攻防对抗每天都在发生。数字技术正在构建前所未有的全新世界,身处变化的前沿,我们面对的是互联网企业中最为丰富的业态和风险。毫无疑问,这是对检验和提升自身能力最好的练兵场。 高级数据挖掘工程师 工作地点: 杭州 薪资: 提供业内有竞争力的薪资,具体视能力而定。 岗位描述: 1. 挖掘并分析设备行为序列,搭建异常检测模型; 2. 应用机器学习相关技术,挖掘异常数据; 3. 安全检测领域前沿技术跟踪,结合已有数据基础,进行原型系统的研发和验证。 岗位要求: 1. 良好的逻辑思考能力,可以从海量数据中挖掘出有价值的规律; 2. 熟悉至少一种常用深度学习框架(Tensorflow, PyTorch); 3. 熟悉异常检测常用算法及评价指标; 4. ASR、NLP 及时间序列信号分析相关领域经验优先; 5. 天池、Kaggle

如何防止我的模型过拟合?这篇文章给出了6大必备方法

好久不见. 提交于 2021-01-23 10:55:16
选自Medium 作者:Mahitha Singirikonda 机器之心编译 编辑:小舟 原文链接: https://mp.weixin.qq.com/s/RP9iFbyw-aNMKx-UAOe-aA ​ mp.weixin.qq.com 正如巴菲特所言:「近似的正确好过精确的错误。」 在机器学习中,过拟合(overfitting)会使模型的预测性能变差,通常发生在模型过于复杂的情况下,如参数过多等。本文对过拟合及其解决方法进行了归纳阐述。 在机器学习中,如果模型过于专注于特定的训练数据而错过了要点,那么该模型就被认为是过拟合。该模型提供的答案和正确答案相距甚远,即准确率降低。这类模型将无关数据中的噪声视为信号,对准确率造成负面影响。即使模型经过很好地训练使损失很小,也无济于事,它在新数据上的性能仍然很差。欠拟合是指模型未捕获数据的逻辑。因此,欠拟合模型具备较低的准确率和较高的损失。 如何确定模型是否过拟合? 构建模型时,数据会被分为 3 类:训练集、验证集和测试集。训练数据用来训练模型;验证集用于在每一步测试构建的模型;测试集用于最后评估模型。通常数据以 80:10:10 或 70:20:10 的比率分配。 在构建模型的过程中,在每个 epoch 中使用验证数据测试当前已构建的模型,得到模型的损失和准确率,以及每个 epoch 的验证损失和验证准确率。模型构建完成后

windows7 安装pytorch

你。 提交于 2021-01-22 04:48:34
这几天为了运行python的图像转换的项目,不得不安装pytorch,安装了两天,最后把经验记录一下。 如果版本不匹配会抛出很多错误,而网上的各种解决方式有大部分也解决不了问题。 在安装pytorch之前,首先是你的PC安装的是NVIDIA显卡,然后打开NVIDIA控制面板,查看CUDA的版本,老的显卡建议就到8.0,因为9.0的cuda要求显卡的计算能力在3.5以上 我的显卡计算能力只有3.0。如果显卡的版本较低需要进行cuda版本升级。 运算能力参照:https://blog.csdn.net/real_myth/article/details/44308169 NVIDIA版本下载:https://developer.nvidia.com/cuda-toolkit-archive 显卡版本安装之后,需要安装Anaconda3,参照网上的例子如果这时候进行pytorch安装,会默认安装cuda9.1,即使你指定cuda80也不好用,所以只能下载离线版本的 cuda为80版本的pytorch。 https://pan.baidu.com/s/1dF6ayLr?errno=0&errmsg=Auth%20Login%20Sucess&&bduss=&ssnerror=0&traceid=#list/path=%2Fpytorch 下载到本地之后,在Anaconda

图像语义分割 —利用Deeplab v3+训练VOC2012数据集

孤人 提交于 2021-01-22 02:45:23
向AI转型的程序员都关注了这个号 👇👇👇 机器学习AI算法工程 公众号:datayx 前言: 配置:windows10 + Tensorflow1.6.0 + Python3.6.4(笔记本无GPU) 源码: https://github.com/tensorflow/models/tree/master/research/deeplab 权重下载地址: https://github.com/tensorflow/models/blob/master/research/deeplab/g3doc/model_zoo.md 1. 运行model_test.py 测试安装环境,如果正常,提示: Ran 5 tests in 10.758s 2. 运行build_voc2012_data.py 生成 .tfrecord数据 在VOC2012数据集中,文件夹JPEGImages存放着原始的[n*m*3] .jpg格式图片,文件夹SegmentationClass中存放Label数据,为[n*m*3]的 .png图片,首先应将这些label数据转换为[n*m*1]的单通道图片。 具体转换方法见: https://blog.csdn.net/weixin_41713230/article/details/81076292 运行成功后,会提示如下信息: 3. 运行train.py训练模型

PyTorch 于 JupyterLab 的环境准备

偶尔善良 提交于 2021-01-21 21:05:11
PyTorch 是目前主流的深度学习框架之一,而 JupyterLab 是基于 Web 的交互式笔记本环境。于 JupyterLab 我们可以边记笔记的同时、边执行 PyTorch 代码,便于自己学习、调试或以后回顾。 本文将介绍这样的环境如何进行准备。了解更多: PyTorch 官方文档 JupyterLab 交互式笔记本 安装 Anaconda Anaconda: https://www.anaconda.com/products/individual#Downloads 北外镜像源: https://mirrors.bfsu.edu.cn/help/anaconda/ # 激活 base 环境 conda activate base 安装 JupyterLab JupyterLab: https://jupyterlab.readthedocs.io/ 应该已随 Anaconda 安装,如下查看版本: jupyter --version 不然,如下进行安装: conda install -c conda-forge jupyterlab 执行 jupyter lab 启动,浏览器会打开 http://localhost:8888/ : 版本 < 3.0 建议安装 TOC 扩展 : jupyter labextension install @jupyterlab/toc TOC

【20201127期嵌入式AI周报】NanoDet 目标检测模型、移植 ncnn到 RISC-V等!

谁说我不能喝 提交于 2021-01-20 22:50:10
导读:本期为 AI 简报 20201127 期,将为您带来 8 条相关新闻,希望对您有所帮助~ 一共2000+字,全篇看完需要5~7分钟 1. NanoDet:轻量级(1.8MB)、超快速(移动端97fps)目标检测项目 Github: https://github.com/RangiLyu/nanodet 近日,GitHub 上出现了一个项目 nanodet,它开源了一个 移动端 实时的 Anchor-free 检测模型,希望能够提供不亚于 YOLO 系列的性能,而且同样方便训练和移植。该项目上线仅两天,Star 量已经超过 200。 NanoDet 是一个速度超快和轻量级的移动端 Anchor-free 目标检测模型。该模型具备以下优势: 超轻量级:模型文件大小仅 1.8m; 速度超快:在移动 ARM CPU 上的速度达到 97fps(10.23ms); 训练友好:GPU 内存成本比其他模型低得多。GTX1060 6G 上的 Batch-size 为 80 即可运行; 方便部署:提供了基于 ncnn 推理框架的 C++ 实现和 Android demo。 2. 不到1000行代码,GitHub 2000星,天才黑客开源深度学习框架tinygrad Github: https://github.com/geohot/tinygrad 视频地址: https://www

1.8M超轻量目标检测模型NanoDet,比YOLO跑得快,上线两天Star量超200

♀尐吖头ヾ 提交于 2021-01-20 22:49:43
点击上方 “ 机器学习与生成对抗网络 ”,关注"星标" 获取有趣、好玩的前沿干货! 盘点GAN在目标检测中的应用 机器之心报道 项目作者:RangiLyu 如何把 anchor-free 模型移植到移动端或嵌入式设备?这个项目对单阶段检测模型三大模块(Head、Neck、Backbone)进行轻量化,得到模型大小仅 1.8m、速度超快的轻量级模型 NanoDet-m 。 目标检测一直是计算机视觉领域的一大难题,其目标是找出图像中的所有感兴趣区域,并确定这些区域的位置和类别。目标检测中的深度学习方法已经发展了很多年,并出现了不同类型的检测方法。 目前,深度学习目标检测方法主要分为两大类,分别是两阶段式和单阶段式目标检测算法。两阶段式目标检测框架首先生成候选区域,然后将其分类成不同的目标类别,代表模型有 R-CNN、Fast R-CNN 等;单阶段式目标检测框架将目标检测任务视为一个统一的端到端回归问题,代表模型有 MultiBox、YOLO、SSD 等。这类框架通常结构更简单,检测速度也更快。 深度学习目标检测方法还可划分为 Anchor-base 和 Anchor-free 两大类,今年又出现了将 Transformer 用于目标检测 的尝试,各种方法百花齐放。但是,在移动端目标检测算法上,YOLO 系列和 SSD 等 Anchor-base 的模型一直占据主导地位。 近日

NanoDet:这是个小于4M超轻量目标检测模型

為{幸葍}努か 提交于 2021-01-20 20:51:00
摘要: NanoDet 是一个速度超快和轻量级的移动端 Anchor-free 目标检测模型。 前言 YOLO、SSD、Fast R-CNN等模型在目标检测方面速度较快和精度较高,但是这些模型比较大,不太适合移植到移动端或嵌入式设备;轻量级模型 NanoDet-m,对单阶段检测模型三大模块(Head、Neck、Backbone)进行轻量化,目标加检测速度很快;模型文件大小仅几兆(小于4M)。 NanoDet作者开源代码地址 : https://github.com/RangiLyu/nanodet (致敬) 基于NanoDet项目进行小裁剪,专门用来实现Python语言、PyTorch 版本的代码地址: https://github.com/guo-pu/NanoDet-PyTorch 下载直接能使用,支持图片、视频文件、摄像头实时目标检测 先看一下NanoDet目标检测的效果: 同时检测多辆汽车: 查看多目标、目标之间重叠、同时存在小目标和大目标的检测效果: NanoDet 模型介绍 NanoDet 是一种 FCOS 式的单阶段 anchor-free 目标检测模型,它使用 ATSS 进行目标采样,使用 Generalized Focal Loss 损失函数执行分类和边框回归(box regression)。 1)NanoDet 模型性能 NanoDet-m模型和YoloV3

Calculate covariance matrix for complex data in two channels (no complex data type)

两盒软妹~` 提交于 2021-01-20 20:32:08
问题 I have complex-valued data given in 2 channels of a matrix (one is the real, one the imaginary part, so the matrix dimensions are (height, width, 2) , since Pytorch does not have native complex data types. I now want to calculate the covariance matrix. The stripped-down numpy calculation adapted for Pytorch is this: def cov(m, y=None): if m.ndimension() > 2: raise ValueError("m has more than 2 dimensions") if y.ndimension() > 2: raise ValueError('y has more than 2 dimensions') X = m if X