神经网络模型

参考简书文章 AutoML研究分析 ，少有改动 文章目录 1. Auto Keras 2. 其它AutoML产品（工具包） 2.1 AutoWEKA 2.2 Auto-sklearn 2.3 H2O AutoML 2.4 Google Cloud AutoML 3. AutoML实现原理分析 3.1 NAS 3.1.1 搜索空间 3.1.2 搜索策略 3.1.3 性能评估策略 3.1.4 NAS未来的方向 3.1.5 NAS的演进 3.2 Hyper-parameter optimization 3.3 Meta-Learning 3.4 算法相关 3.4.1 强化学习 3.4.2 进化算法 3.4.3 贝叶斯优化 4. AutoML应用场景 参考材料 AutoML全称是automated machine learning，下面有一段AutoML不是什么的描述： AutoML is not automated data science. While there is undoubtedly overlap, machine learning is but one of many tools in the data science toolkit, and its use does not actually factor in to all data science tasks.

文章目录 关系拟合（回归） 建立数据集 建立神经网络 区分类型 (分类) 快速搭建 保存提取 批训练 DataLoader 优化器 Optimizer 关系拟合（回归） 建立数据集 创建一些假数据来模拟真实的情况. 比如一个一元二次函数: y = a * x^2 + b, 将 y 数据加上一点噪声来更加真实的展示它. #关系拟合（回归） import torch from torch . autograd import Variable import torch . nn . functional as F import matplotlib . pyplot as plt #fake data x = torch . unsqueeze ( torch . linspace ( - 1 , 1 , 100 ) , dim = 1 ) #unsqueeze将一维变成二维 y = x . pow ( 2 ) + 0.2 * torch . rand ( x . size ( ) ) # 二次方+噪点的影响 plt . scatter ( x . data . numpy ( ) , y . data . numpy ( ) ) #散点图 plt . show ( ) 建立神经网络 建立一个神经网络可以直接运用 torch 中的体系. 先定义所有的层属性( init ()),

前面使用与房价预测相同的简单神经网络解决手写数字识别问题，效果并不理想，原因有两点： 输入数据类型不同。房价预测的输入为离散一维数据。 房价预测使用全连接神经网络无法学习到图像二维数据中的空间信息 。 模型复杂度不够。因为手写数字识别任务涉及到图像信号，比房价预测任务更加复杂，模型的复杂度也会影响最终的效果，理论上复杂的模型能够表示更复杂的转换关系（从输入到输出）。 本节介绍两种常见的网络结构，全连接神经网络和卷积神经网络，观测卷积网络能否提升手写数字识别的训练效果。 在开始介绍网络结构前，复用上一节的数据处理代码，代码如下。 1 #数据处理部分之前的代码，保持不变 2 import os 3 import random 4 import paddle 5 import paddle.fluid as fluid 6 from paddle.fluid.dygraph.nn import Conv2D, Pool2D, FC 7 import numpy as np 8 import matplotlib.pyplot as plt 9 from PIL import Image 10 11 import gzip 12 import json 13 14 # 定义数据集读取器 15 def load_data(mode='train'): 16 17 # 数据文件 18

论文：Survey on soft computing 作者：Yun Liang1 • Tian-ping He 在线发布时间: 13 November 2019，本篇为阅读笔记！ 目录 摘要 1 介绍 2 软计算发展史 2.1 胚胎时期（1900s~1960s） 2.2 软计算初始发展阶段（1960s-1990s） 2.3 软计算概念的引入（1992） 2.4 软计算繁荣发展时期（1992至今） 3 软计算应用 3.1 软计算在工程领域的应用 3.1.1 误差诊断 3.1.2 结构参数识别 3.1.3 油气资源勘探 3.1.4 焊接 3.1.5 人工智能 3.1.6 大数据 3.2 软计算在人文社科领域的应用 摘要 软计算如何演化至今？软计算的应用场景是什么？ 软计算被广泛用于哪个领域？ 在哪个领域中软计算仍需得到普及？ 1 介绍 软计算不同于传统硬计算，软计算是一系列方法，其旨在探索对非精确和非确定性的容忍度以此获得可追溯性、鲁棒性、以及较低的问题解决成本。软计算方法主要包含：粗糙系统、神经网络、概率推理、进化计算（混沌理论、遗传算法、人工生命、学习理论等等） 当今，软计算在AI、科学以及工程领域应用广泛，在人文社科领域却发展迟缓。 2 软计算发展史 2.1 胚胎时期（1900s~1960s） 传统计算模式面临巨大挑战 1）过度依赖数学模型

nltk 处理文本 注意力机制 SENet、CBAM 卷积神经网络 处理文本：word2vec、TF-IDF、TextRank、字符卷积、词卷积、卷积神经网络文本分类模型的实现(Conv1D一维卷积、Conv2D二维卷积) 反向传播、链式求导 梯度下降 最小二乘法(LS算法)：实际为L2范数的一个具体应用(计算残差平方和) 线性回归 例子 ##### 文本分类使用的tools ##### import re import csv import tensorflow as tf #文本清理函数 def text_clearTitle_word2vec(text,n=12): text = text.lower() #将文本转化成小写 text = re.sub(r"[^a-z]"," ",text) #替换非标准字符，^是求反操作。 text = re.sub(r" +", " ", text) #替换多重空格 #text = re.sub(" ", "", text) #替换隔断空格 text = text.strip() #取出首尾空格 text = text + " eos" #添加结束符 text = text.split(" ") return text #将标签转为one-hot格式函数 def get_label_one_hot(list): values = np

作者：一人 1.深度神经网络对于任何领域都是适用的 深度神经网络（Deep Neural Networks, DNN）在过去的数年已经在图像分类、语音识别、自然语言处理中取得了突破性的进展。在实践中的应用已经证明了它可以作为对于一种十分有效的技术手段应用在大数据相关领域中。深度神经网络通过众多的简单线性变换层次性的进行非线性变换对于数据中的复杂关系能够很好的进行拟合，即对数据特征进行的深层次的挖掘。 因此作为一种技术手段，深度神经网络对于任何领域都是适用的。 2.推荐系统简介 推荐系统的功能是帮助用户主动的找到满足偏好的个性化物品并推荐给用户。在本质上可以当做一个个性化的搜索引擎，输入的数据为用户行为信息、偏好信息等，返回的结果为最符合查询条件的物品列表。数学化的表示： 物 品 列 表 = f ( 用 户 偏 好 ) − − − − − − − − − − − 公 式 （ 1 ） 我们的推荐引擎就扮演者这里的函数的角色，它主要需要完成两部分的工作： A > 针对查询条件对物品的相关性进行估计。 B > 晒选出topN个最相关的物品。 因此，推荐系统的关键就是对上面 函数的一种求解 。 实际应用中的物品数量很大，因此在满足业务需要的前提下，对于所有物品使用评估函数进行评估是不实际的。因此为了实现性能与效果的平衡，大多的推荐系统将以上的计算过程分为两个部分： 推荐召回 推荐排序

BP（Back Propagation）神经网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小。BP神经网络模型拓扑结构包括输入层（input）、隐层(hidden layer)和输出层(output layer)。 我们现在来分析下这些话： “是一种按误差逆传播算法训练的多层前馈网络” BP是后向传播的英文缩写，那么传播对象是什么？传播的目的是什么？传播的方式是后向，可这又是什么意思呢。 传播的对象是误差，传播的目的是得到所有层的估计误差，后向是说由后层误差推导前层误差： 即BP的思想可以总结为 利用输出后的误差来估计输出层的直接前导层的误差，再用这个误差估计更前一层的误差，如此一层一层的反传下去，就获得了所有其他各层的误差估计。 “BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)” ----------( 计算机网络的拓扑结构是引用拓扑学中研究与大小、形状无关的点、线关系的方法，把网络中的计算机和通信设备抽象为一个点

为什么需要卷积神经网络？ 全连接神经网络主要存在参数过多不便处理高维数据这两大问题，卷积神经网络是通过 参数共享（卷积核共享），池化降维 来解决上述两个问题。 这个公式很重要，特征图经过卷积之后会是什么维度的数据，全靠它。 最大池化对于纹理特征敏感，均值池化对背景特征敏感。 卷积函数代码跟踪视频理解： 针对不同的输入图片使用不同的卷积核进行卷积并演示其进行卷积后的输出是什么形状，从而把卷积输出公式落实到代码。 池化函数演示跟踪其实也类似，最关键的其实是对tf.reshape(tf.transpose(img), [-1, 16]) 这行代码的理解花费了我一些时间查找其相关API的用法。 另外特别要说明的一点是矩阵数据在TensorFlow中存储和我们正常思维是有区别的如下图所示： 正常思维我们会认为[[1,5],[1,5]]是个特征图，但其实[[1,1],[3,3]]才是特征图，而前面有多少[[[[就表示他是多少维度的数据，如图就是个四维数据。 Cifar图片集分类示例视频 Cifar图片集分类代码的逻辑其实和Mnist多层分类的逻辑是一样的还是哪四步，准备数据，搭建模型，训练模型，使用模型，代码其实就是把卷积函数和池化函数加到了搭建模型中，把原来的全连接层改成了卷积层，学到此处我突然明白 WX+B这个公式为什是深度学习中的通用公式了。 看懂这些代码花了我半天的时间

卷积神经网络 能很好地适用于图像处理、语音识别等复杂感知任务。 卷积神经网络的强大之处在于它的多层网络结构能自动学习输入数据的深层特征，不同层次的网络可以学习到不同层次的特征。 浅层网络层感知区域 较小，可以学习到输入数据的局部域特征（如图像的颜色、几何形状等）； 深层网络层 具有较大的感知域，能够学到输入数据中更加抽象的一些特征（如图像物体的属性、轮廓特点、位置信息等高维性质）。深层次的抽象特征对图像中物体的大小、位置和方向等敏感度较低，从而大大提高了物体的识别率，因此卷积神经网络常用于图像处理领域。 卷积神经网络可以用来识别位移、缩放及物体形态扭曲的二维图形。由于网络模型中的特征是通过训练数据集进行图像特征学习，从而避免了显示地特征抽取。由于图像上同一特征映射面上的神经元权值相同，所以卷积神经网络模型可以并行训练，极大地提高神经网络的训练时长。 传统的图像检测方法 ：边缘检测、轮廓检测、局部二值检测、方向梯度直方图、Haar特征检测。 卷积神经网络的结构： 卷积神经网络主要由卷积层、下采样层、全连接层3中网络层构成（这里没有包括输入层和输出层） 卷积神经网络参数设计规律 1.输入层矩阵的大小应该可以被2整除多次 2.卷积层尽量使用小尺寸卷积核 3.卷积步长尽量不要过大（如设置步长为1可以让空间维度的下采样操作由Pooling层负责，卷积层只负责对输入数据进行特征提取） 4

本文的作者来自中科院自动化所以及中科院大学人工智能学院。 为了拓展卷积操作到非欧图结构，本文提出了 structure-aware convolution （结构感知卷积）将非欧式图与欧式图结构之间的差别抹平。从技术上讲，结构感知卷积中的滤波器被推广到单变量函数，该单变量函数能够聚合具有不同拓扑结构的局部输入。由于单变量函数需要确定无数个参数，所以使用函数逼近理论近似代替单变量函数，最终建立起模型Structure-Aware Convolutional Neural Networks(SACNNs)。在11个数据集上的大量实验有力地证明，SACNNs在各种机器学习任务上表现优于现有模型，包括图像分类和聚类、文本分类、基于骨架的动作识别、分子活动检测和出租车流量预测。 Model Structure-aware convolution 卷积本质上是一个局部输入和滤波器之间的聚合运算。在实际应用中，局部输入不仅涉及输入值，还涉及拓扑结构（狭义的卷积只能聚合网格结构的拓扑图），因此需要泛化filter到一个单变量函数来聚合不同的拓扑结构。首先，用一维数据来阐释这种泛化。 其中， 表示结点i的本地输入，i-m<j<i+m表示了i的所有邻居结点。w与x_j的乘机表示对所有邻居结点的聚合。将w替换成单变量函数f(·)，卷积操作就转化为如下的公式： 其中，f(·)也叫做functional