神经网络

从零开始学Keras(一)

烂漫一生 提交于 2021-02-18 01:52:19
点击上方“ 计算机视觉cv ”即可“进入公众号” 重磅干货第一时间送达 计算机视觉cv 【 导读 】Keras是一个由Python编写的开源人工神经网络库,可以作为Tensorflow、和Theano的高阶应用程序接口,进行深度学习模型的设计、调试、评估、应用和可视化。本系列将教你如何从零开始学Keras,从搭建神经网络到项目实战,手把手教你精通Keras。相关内容参考《Python深度学习》这本书。 初识神经网络   我们先来看一个具体的神经网络示例,使用 Python 的 Keras 库来学习手写数字分类。如果你没用过 Keras或类似的库,可能无法立刻搞懂这个例子中的全部内容。甚至你可能还没有安装 Keras。没关系,可以看个例子先感受下。   我们这里要解决的问题是,将手写数字的灰度图像(28 像素×28 像素)划分到 10 个类别 中(0~9)。我们将使用 MNIST 数据集,它是机器学习领域的一个经典数据集,其历史几乎和这 个领域一样长,而且已被人们深入研究。这个数据集包含 60 000 张训练图像和 10 000 张测试图 像,由美国国家标准与技术研究院(National Institute of Standards and Technology,即 MNIST 中 的 NIST)在 20 世纪 80 年代收集得到。你可以将“解决”MNIST 问题看作深度学习的

从零开始学Keras(三)

依然范特西╮ 提交于 2021-02-18 01:46:23
点击上方“ 计算机视觉cv ”即可“进入公众号” 重磅干货第一时间送达 计算机视觉cv 【 导读 】Keras是一个由Python编写的开源人工神经网络库,可以作为Tensorflow、和Theano的高阶应用程序接口,进行深度学习模型的设计、调试、评估、应用和可视化。本系列将教你如何从零开始学Keras,从搭建神经网络到项目实战,手把手教你精通Keras。相关内容参考《Python深度学习》这本书。 多分类问题   本节你会构建一个网络,将路透社新闻划分为 46 个互斥的主题。因为有多个类别,所以这是多分类(multiclass classification)问题的一个例子。因为每个数据点只能划分到一个类别,所以更具体地说,这是单标签、多分类(single-label, multiclass classification)问题的一个例子。如果每个数据点可以划分到多个类别(主题),那它就是一个多标签、多分类(multilabel, multiclass classification)问题。 路透社数据集   本节使用路透社数据集,它包含许多短新闻及其对应的主题,由路透社在 1986 年发布。它是一个简单的、广泛使用的文本分类数据集。它包括 46 个不同的主题:某些主题的样本更多,但训练集中每个主题都有至少 10 个样本。   与 IMDB 和 MNIST 类似,路透社数据集也内置为

学习资源 | 来自NOAA的AI与环境科学学习资源(四)

痴心易碎 提交于 2021-02-17 20:14:01
信息来源 | 气象杂货铺( meteogs ) 作者 | bugsuse 背景动机 AI,机器学习/深度学习技术(包括深层神经网络,DNN)在许多领域和应用中取得了很大的进展,包括医药、自动驾驶、社交媒体、金融工业等。在私有领域,人工智能的准确性和可用性方面的惊人增长具有显著意义。人工智能在气象学和海洋学领域也取得了显著的进展。然而,直到最近,在环境科学领域只有很少的AI应用开发工作。令人鼓舞的是,AI在这些领域的应用在不断增加,而且取得了令人鼓舞的结果,其中包括预测技能。随着卫星数据的不断增加以及社会依赖的增加,将会持续改善预报准确率和精度。来自高分辨率卫星和传感器,一系列新传感器,以及物联网背景下新观测设备的数据不断增加。这些数据的增加将给这些数据的应用带来极大的挑战,AI已经成为潜在的解决技术。 第四期主要内容 在预报中将数据同化与机器学习结合 通过AI检验气候信号 海洋环境中的视频和图片分析 通过人工智能和机器学习技术生成高时空分辨率的是飓风影像 资源获取 第一期PPT资料获取,后台回复NOAA1 第二期PPT资料获取,后台回复NOAA2 第三期视频获取,后台回复NOAA3 第四期视频获取,后台回复NOAA4 本文分享自微信公众号 - 好奇心Log(Curiosity-log)。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”

人脸识别(基于Caffe)

Deadly 提交于 2021-02-17 19:31:55
人脸识别(基于Caffe, 来自tyd) 人脸识别(判断是否为人脸) LMDB(数据库, 为Caffe支持的 分类 数据源) mkdir face_detect cd face_detect mkdir train val mkdir train/{0,1} mkdir val/{0,1} 将人脸数据放到 train/1 和 val/1 下 将非人脸数据放到 val/0 和 val/0 下 vim train.txt 0/xxx.jpg 0 1/xxx.jpg 1 vim val.txt 1/xxx.jpg 1 0/xxx.jpg 0 拷贝Caffe自带的脚本根据上面的train.txt和val.txt制作LMDB数据源, 名为 face_detect_lmdb.sh # 修改部分 EXAMPLE=/home/jh/face_detect DATA=/home/jh/face_detect TOOLS=caffe安装目录/build/tools TRAIN_DATA_ROOT=/home/jh/face_detect/train/ VAL_DATA_ROOT=/home/jh/face_detect/val/ # 对输入的数据进行大小的调整, 大小的调整是要根据我们要使用的网络模型, 比如AlexNet或者VGG(速度慢)为227x227 RESIZE=true if

IJCAI2020 图相关论文集

◇◆丶佛笑我妖孽 提交于 2021-02-17 07:57:31
↑公众号关注 “Graph-AI” 专注于 图机器学习 IJCAI2020 图相关论文集 “ IJCAI(International Joint Conference on Artificial Intelligence,国际人工智能联合会议),是人工智能领域中最主要的学术会议之一,是CCF A类会议。 “ 本文将该会议与图相关的文章进行了整理,IJCAI接受的论文分为主赛道和特别赛道,都进行了大致的分类:计算机视觉、数据挖掘等。但因为本文是关注图方面的,所以按照图的种类来进行筛选。 “ 全部收录论文地址:http://static.ijcai.org/2020-accepted_papers.html Main track 图卷积网络 MR-GCN: Multi-Relational Graph Convolutional Networks based on Generalized Tensor Product LSGCN: Long Short-Term Traffic Prediction with Graph Convolutional Networks Multi-Class Imbalanced Graph Convolutional Network Learning Multi-View Attribute Graph Convolution Networks for

2018年美国大学生数学建模竞赛(MCM/ICM) B题解题思路

风流意气都作罢 提交于 2021-02-17 07:24:16
老套路,把我们在解决B题时候采用的思路分享给大家,希望大家能学到点东西~~~ B题思路整理: Part1: 先整理出说某种语言多的十个国家给找出来,或者说是把十种语言对应的国家找出来 然后再对各个国家的人口进行求和,我们大概可以估计出说某种语言的人口数 再去描述一下该说语言的人口数是如何变换的(参考世界人口数据1960-2016) 再去参考全球移民数据 再利用arcmap工具描绘人口迁徙的路线,可以对人口进行一些预测 Part2: 该问属于选址优化类问题,必然会有很多影响因素,比如公司选择的地址和国家经济发展水平有关系,这个就 牵扯到我们之前提到的影响因素,和原材料有关系,我们再进行选址,所以我们可以把选址定义为一个评价类 问题,评价类问题我们可以采用一些算法来做,比如神经网络算法做评价等等,看我们擅长哪一类做评价的算法来做 再根据这些数据来做评价,以便我们来选择某一国家作为地址 做优化就涉及到多少的问题,这个时候我们采用粒子群算法,模拟退火算法,遗传算法等等来做优化,基本应用就是为了 达到极小值,在有限的情况下节约资源,建的办公室要达到最少来进行一个优化 Part3: 备忘录这块,我们主要考虑公司是如何运营的,我们只需要把前面所做的做一个基本的总结,比如我们第二问得出要设置多少个办公室 办公室地点设置哪里合适,为什么在这里设置等等,这样我们能对备忘录做个具体的分析

机器学习入门

折月煮酒 提交于 2021-02-16 23:19:48
机器学习 针对经验 E 和一系列任务 T 和一定表现的衡量 P ,如果随着经验 E 的积累,针对定义好的任务 T 可以提高其表现 P ,则说明机器有学习能力 S klearn 库 基本使用 包含了所有机器学习算法 ——> 分类 回归 非监督分类 数据降维 数据预处理 1. 构建机器学习模型 A. 逻辑回归 B. 支持向量机 C. 决策树 D. 神经网络 在给定的数据上做解决分类的问题 导入样本数据 代码: from sklearn import datasets wine = datasets.load_wine() print(wine) 补充: y 是样本的标签!每个分类的个数是类似的,所以不会存在不平衡的问题! 通过 numpy 包的 shape() 方法输入 data 和 target 的大小: 代码: import numpy as np print(np.shape(x),np.shape(y)) 其中, (178,13)---- 代表 178*13 的矩阵【意思是 178 个样本,每个样本有 13 个特征(或 13 个特征矩阵)】 (178,) ----- 代表长度是 178 的一个一维向量 把数据分成训练数据和测试数据 ----- 搭建模型后用一种机制评估模型 代码: from sklearn.model_selection import train_test

Tensorflow:TensorFlow基础(一)

别等时光非礼了梦想. 提交于 2021-02-16 19:55:46
文章目录 TensorFlow基础 1.数据类型 1.1 数值类型 1.2 字符串类型 1.3 布尔类型 2.数值精度 2.1 读取精度 2.2 类型转换 3.待优化张量 4.创建张量 4.1 从数组、列表对象创建 4.2 创建全0或全1张量 4.3 创建自定义数值张量 4.4 创建已知分布的张量 4.4 创建序列 TensorFlow基础 import numpy as np import tensorflow as tf import tensorflow . keras as keras import tensorflow . keras . layers as layers physical_devices = tf . config . experimental . list_physical_devices ( 'GPU' ) assert len ( physical_devices ) > 0 , "Not enough GPU hardware devices available" tf . config . experimental . set_memory_growth ( physical_devices [ 0 ] , True ) 1.数据类型 Tensorflow主要有3种数据类型:数值型,字符串型,布尔型 1.1 数值类型 标量(Scalar)

缺失值填写

倖福魔咒の 提交于 2021-02-16 19:26:40
空值填充算法 简介 造成数据缺失的原因 现实世界中的数据异常杂乱,属性值缺失的情况经常发全甚至是不可避免的。造成数据缺失的原因是多方面的: 信息暂时无法获取。例如在医疗数据库中,并非所有病人的所有临床检验结果都能在给定的时间内得到,就致使一部分属性值空缺出来。 信息被遗漏。可能是因为输入时认为不重要、忘记填写了或对数据理解错误而遗漏,也可能是由于数据采集设备的故障、存储介质的故障、传输媒体的故障、一些人为因素等原因而丢失。 有些对象的某个或某些属性是不可用的。如一个未婚者的配偶姓名、一个儿童的固定收入状况等。 有些信息(被认为)是不重要的。如一个属性的取值与给定语境是无关。 获取这些信息的代价太大。 系统实时性能要求较高。即要求得到这些信息前迅速做出判断或决策。 缺失的类型 在对缺失数据进行处理前,了解数据缺失的机制和形式是十分必要的。将数据集中不含缺失值的变量称为完全变量,数据集中含有缺失值的变量称为不完全变量。从缺失的分布来将缺失可以分为完全随机缺失,随机缺失和完全非随机缺失。 完全随机缺失(missing completely at random,MCAR):指的是数据的缺失是完全随机的,不依赖于任何不完全变量或完全变量,不影响样本的无偏性。如家庭地址缺失。 随机缺失(missing at random,MAR):指的是数据的缺失不是完全随机的

Caffe的solver参数介绍

…衆ロ難τιáo~ 提交于 2021-02-16 18:50:45
版权声明:转载请注明出处,谢谢! https://blog.csdn.net/Quincuntial/article/details/59109447 1. Parameters solver.prototxt 文件是用来告诉caffe如何训练网络的。 solver.prototxt 的各个参数的解释如下: base_lr 这个参数是用来表示网络的初始学习率的。这个值是一个浮点型实数。 lr_policy 这个参数是用来表示学习率随着时间是如何变化的。值是字符串,需要加 "" 。学习率变化的可选参数有: “step”——需要设置 stepsize 。根据 gamma 参数和 stepsize 参数来降低学习率, base_lr * gamma ^ (floor(iter / stepsize)) 。 iter 是当前迭代次数。学习率每迭代 stepsize 次变化一次。 “multistep”——与 step 类似,需要设置 stepvalue ,学习率根据 stepvalue 进行变化。 “fixed”——学习率 base_lr 保持不变。 “inv”——学习率变化公式为 base_lr * (1 + gamma * iter) ^ (- power) “exp”——学习率变化公式为 base_lr * gamma ^ iter} “poly”——学习率以多项式形式衰减