pytorch

偶然在看到了这个项目，感觉很厉害，于是就折腾了下，跑了一跑 项目地址： https://github.com/Morizeyao/GPT2-Chinese 如果Github下载太慢的可以用这个代下载： https://toolwa.com/github/ 环境准备 1.pytorch 的安装 由情况选择版本安装，安装CPU版本梢简单 # 安装时官方源下载比较慢，要换源 conda install pytorch torchvision cpuonly -c pytorch # 如果cnda装不了 选择pip的方式进行安装 # pip也要指定源 pip install torch==1.5.1+cpu torchvision==0.6.1+cpu -f https://download.pytorch.org/whl/torch_stable.html Anacoda 换源 onda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ # 设置搜索时显示通道地址 conda config --set show

# -*- coding: utf-8 -*- """ Created on Sat Aug 15 01:10:42 2020 @author: LX """ import torch import torchvision import cv2 import onnx import numpy as np import matplotlib.pyplot as plt import timm import os print(torch.__version__) print(cv2.__version__) print(np.__version__) print(onnx.__version__) classes = None class_file = r"E:\ScientificComputing\opencv\sources\samples\data\dnn\classification_classes_ILSVRC2012.txt" with open(class_file, 'rt') as f: classes = f.read().rstrip('\n').split('\n') def init_model(model_name): if model_name=='alexnet': model = torchvision.models.alexnet

损失函数是机器学习里最基础也是最为关键的一个要素，其用来评价模型的预测值和真实值不一样的程度。最为常见的损失函数包括平方损失、指数损失、log 对数损失等损失函数。这里回顾了一种新的损失函数，通过引入鲁棒性作为连续参数，该损失函数可以使围绕最小化损失的算法得以推广，其中损失的鲁棒性在训练过程中自动自我适应，从而提高了基于学习任务的性能。 选自towardsdatascience，作者：Saptashwa Bhattacharyya，机器之心编译，编辑：陈萍。 这篇文章对 CVPR 2019 的一篇论文《A General and Adaptive Robust Loss Function》进行了回顾性综述，主要讲述了为机器学习问题开发鲁棒以及自适应的损失函数。论文作者为谷歌研究院的研究科学家 Jon Barron。 论文地址： https:// arxiv.org/pdf/1701.0307 7.pdf 异常值（Outlier）与鲁棒损失 考虑到机器学习问题中最常用的误差之一——均方误差（Mean Squared Error, MSE），其形式为：(y-x)²。该损失函数的主要特征之一是：与小误差相比，对大误差的敏感性较高。并且，使用 MSE 训练出的模型将偏向于减少最大误差。例如，3 个单位的单一误差与 1 个单位的 9 个误差同等重要。 下图为使用 Scikit-Learn

从pytorch模型导出onnx模型，可以参考笔者的前一篇博文https://blog.csdn.net/ouening/article/details/109245243 使用netron查看onnx模型结构，如下图： 注意输入输出的名称name以及数据类型和维度type 程序 import numpy as np # we're going to use numpy to process input and output data import onnxruntime # to inference ONNX models, we use the ONNX Runtime import onnx from onnx import numpy_helper import urllib . request import json import time from imageio import imread import warnings warnings . filterwarnings ( 'ignore' ) # display images in notebook import matplotlib . pyplot as plt from PIL import Image , ImageDraw , ImageFont onnx_model = r "D:\Files

验证码识别是搞爬虫实现自动化脚本避不开的一个问题。通常验证码识别程序要么部署在本地，要么部署在服务器端。如果部署在服务器端就需要自己去搭建配置网络环境并编写调用接口，这是一个极其繁琐耗时的过程。 本文来自 Serverless 社区用户「乂乂又又」供稿 但是现在我们通过腾讯云云函数 SCF，就可以快速将本地的验证码识别程序发布上线，极大地提高了开发效率。 效果展示 可以看到，识别效果还是蛮好的，甚至超过了肉眼识别率。 操作步骤 传统的验证码识别流程是 图像预处理（灰化，去噪，切割，二值化，去干扰线等） 验证码字符特征提取（SVM，CNN 等） 验证码识别 下面我就带大家一起来创建、编写并发布上线一个验证识别云函数 第一步：新建 python 云函数 参见系列文章 《万物皆可Serverless之使用 SCF+COS 快速开发全栈应用》 第二步：编写验证识别云函数 Life is short, show me the code. 这里我就以一个最简单的验证码识别程序为例，直接上代码 import io import os import time from PIL import Image as image import json #字符特征 chars = { '1': [1, 1, 1, 0, 1, ...], '2': [1, 0, 0, 1, 0, ...], '3': [0,

Bert作为目前自然语言处理领域最流行的技术之一，文本分类作为自然语言处理领域最常见的任务之一，Pytorch作为目前最流程的深度学习框架之一，三者结合在一起将会产生什么样的花火，本套课程基于Pytorch最新1.4版本来实现利用Bert实现中文文本分类任务，延续动手学系列课程风格，全程手敲代码，跟着老师一行一行代码撸起来。 来源： oschina 链接： https://my.oschina.net/u/4324861/blog/4685262