迭代模型

CVPR2017的一篇论文 Learning Deep CNN Denoiser Prior for Image Restoration： 一般的，image restoration(IR)任务旨在从观察的退化变量$y$(退化模型，如式子1)中，恢复潜在的干净图像$x$ $y \text{} =\text{}\textbf{H}x\text{}+\text{}v $ where $\textbf{H}$denotes 退化矩阵，$\textbf{v}$denotes 加性高斯白噪声(additive white Gaussian noise) with 标准差$\sigma$ 指定不同的退化矩阵$\textbf{H}$，对应着不同的IR任务： -- 当$\textbf{H}$是一个恒等矩阵，IR任务对应着 图像去噪 (image denoising) -- 当$\textbf{H}$是一个模糊算子(blurring operator)，IR任务对应着 图像去模糊 (image deblurring) -- 当$\textbf{H}$是一个模糊和下采样的复合算子(composite operator of blurring and down-sampling)，IR任务对应着 图像超分辨率 (image super-resolution) IR 是一个病态逆问题(ill-posed

瀑布模型核心思想 瀑布模型核心思想是按工序将问题化简，将功能的实现与设计分开，便于分工协作，即采 瀑布模型 用结构化的分析与设计方法将逻辑实现与物理实现分开。将 软件生命周期 划分为制定计划、 需求分析 、 软件设计 、程序编写、 软件测试 和运行维护等六个基本活动，并且规定了它们自上而下、相互衔接的固定次序，如同瀑布流水，逐级下落。 布模型的重要地位 瀑布模型是最早出现的 软件开发模型 ，在 软件工程 中占有重要的地位，它提供了软件开发的基本框架。其过程是从上一项活动接收该项活动的工作对象作为输入，利用这一输入实施该项活动应完成的内容给出该项活动的工作成果，并作为输出传给下一项活动。同时评审该项活动的实施，若确认，则继续下一项活动；否则返回前面，甚至更前面的活动。对于经常变化的项目而言，瀑布模型毫无价值。（采用瀑布模型的 软件过程 如图所示） 1、瀑布模型有以下优点 1）为项目提供了按阶段划分的检 瀑布模型 查点。 2）当前一阶段完成后，您只需要去关注后续阶段。 3）可在 迭代模型 中应用瀑布模型。 增量迭代应用于瀑布模型。迭代1解决最大的问题。每次迭代产生一个可运行的版本,同时增加更多的功能。每次迭代必须经过质量和 集成测试 。 2、瀑布模型有以下缺点 1）在项目各个阶段之间极少有反馈。 2）只有在 项目生命周期 的后期才能看到结果。 3

必要的数学概念 1、离散型随机变量及分布规律 1.1：0-1分布（两点分布）（伯努利分布） ：当 时，其分布函数为 ，期望为E=1*p+0*（1-p）=p，方差：D=p(1-p) 1.2：二项分布（n重伯努利分布） ：分布函数： ，期望 E=np，方差：D = np(1-p) 1.3：泊松分布 ： 分布函数 ，期望E= λ，方差D= λ 2、最大似然估计（Likelihood） ：通过参数选择使已知数据最大概率出现 在条件概率中 P(X| θ ) 表示在 θ条件下，X出现的概率，与之对应的就是似然函数： L（ θ|X ）已知数据X 在参数 θ 的作用下的概率，数值上等于P（X| θ ）。 几种常见的线性回归 ①线性回归; f(Xi)=WXi+b,其中Xi为特征，W与b是需要确定的参数，模型训练就是获得最佳的W与b 线性回归中的 损失函数 ：用来衡量W与b是否最佳，使用均方误差。 均方误差J(θ)=∑[f(Xi)-y]^2 。目标是使得误差最小，利用偏导来求，偏导为0则为最优解，求最小误差的这个过程称为最小二乘。 利用偏导求得最优解为： 最小二乘： 估计值与实际值之差的平方和最小。凸显优化的特点。 ② 多元线性回归 ，W是一个向量， ，同样也可通过最小二乘求得最优解为 所以最终获得的多元线性模型为 ③对数线性回归 ： ④logistic回归（对数几率回归） ， 基于sigmoid函数

迭代器与生成器 一、迭代器 　　迭代器可以理解为一种特殊的游标，是对循环遍历等一系列操作组成的一种抽象描述。而迭代器协议是程序的一种绑定关系，实现了该协议的对象称为可迭代对象。迭代器协议强调对象必须提供一个 next或 __next__()方法，并且执行该方法只有两种决策，要么返回迭代中的下一项，要么者引起一个 StopIteration异常，以终止迭代。 for循环的本质是循环所有对象，使用的一定是迭代器协议生成对象。因此 for循环可以遍历所有的可迭代对象（字符串、列表、元组、字典、文件对象等）。既然如此，为什么我们定义一个序列的时候没有使用 next方法呢？这是为什么呢？从理论上来讲，只有实现迭代器的对象才可称为可迭代对象。而我们在定义字符串、列表、元组、字典、文件对象的时候，本身没有给出 next方法。从这种角度上来看，他们并没有遵循迭代器协议。但是平时我们为什么还是认为他们是可迭代对象呢？ 　　Python提供了一个可以让某种数据类型变为可迭代数据类型的方法，即让某种数据类型的对象直接调用 __iter__()或 iter()方法，此时我们再查看该数据类型的对象时就多出了 next方法。下面如我们通过一个简单的实例来分析，我们使用字符窜调用 __iter__()方法，然后使用可迭代对象调用 next方法。 string = "hello world" myiter =

Ridge回归 由于直接套用线性回归可能产生过拟合，我们需要加入正则化项，如果加入的是L2正则化项，就是Ridge回归，有时也翻译为岭回归。它和一般线性回归的区别是在损失函数上增加了一个L2正则化的项，和一个调节线性回归项和正则化项权重的系数α。损失函数表达式如下： J(θ)=1/2(Xθ−Y) T (Xθ−Y)+1/2α||θ|| 2 2 其中α为常数系数，需要进行调优。||θ|| 2 为L2范数。Ridge回归的解法和一般线性回归大同小异。如果采用梯度下降法，则每一轮θ迭代的表达式是： θ=θ−(βX T (Xθ−Y)+αθ) 其中β为步长。 如果用最小二乘法，则θ的结果是： θ=(X T X+αE)−1X T Y 其中E为单位矩阵。 Ridge回归在不抛弃任何一个变量的情况下，缩小了回归系数，使得模型相对而言比较的稳定，但这会使得模型的变量特别多，模型解释性差。有没有折中一点的办法呢？即又可以防止过拟合，同时克服Ridge回归模型变量多的缺点呢？有，这就是下面说的Lasso回归。 Lasso回归概述 Lasso回归有时也叫做线性回归的L1正则化，和Ridge回归的主要区别就是在正则化项，Ridge回归用的是L2正则化，而Lasso回归用的是L1正则化。Lasso回归的损失函数表达式如下： J(θ)=1/2n(Xθ−Y) T (Xθ−Y)+α||θ|| 1 其中n为样本个数

交付用户想要的软件 让客户做决定 在设计方面，做决定的时候好必须有开发者参与。可是，在一个项目中，它们不应该做所有决定，特别是业务方面的决定。 Decide what you shouldn’t decide. 开发者（及项目经理）能做的一个最重要的决定就是：判断哪些是自己决定不来的，应该让企业主做决定。你不需要自己给业务上的关键问题做决定。毕竟那不是你的事情。如果遇到了一个问题，会影响到系统的行为或者如何使用系统，把这个问题告诉业务负责人。如果项目领导或经理试图全权负责这些问题，要委婉地劝说他们，这些问题最好还是和真正的业务负责人或客户商议。 当你和客户讨论问题的时候，准备好几种可选择的方案。不是从技术的角度，而是从业务的角度，介绍每种方案的优缺点，以及潜在的成本和利益。和他们讨论每个选择对时间和预算的影响，以及如何权衡。无论他们做出了什么决定，他们必须接受它，所以最好让他们了解一切之后再做这些决定。如果时候他们又想要其他的东西，可以公正地就成本和时间重新谈判。 毕竟，这是他们的决定。 具体技巧 记录客户做出的决定，并注明原因。好记性不如烂笔头，但你选择的记录方法不能太笨重或太繁琐。 不要用过于具体和没有价值的问题打扰繁忙的业务人员。如果问题对他们的业务没有影响，就应该是没有价值的。 不要随意假设具体的问题不会影响他们的业务。如果能影响他们的业务，就是有价值的问题。

深度学习中的优化问题通常指的是：寻找神经网络上的一组参数θ，它能显著地降低代价函数J(θ)。针对此类问题，研究人员提出了多种优化算法，Sebastian Ruder 在《An overview of gradient descent optimizationalgorithms》（链接： https://arxiv.org/pdf/1609.04747.pdf ）这篇论文中列出了常用优化算法的比较。主要优化算法有：GD、SGD、Momentum、Adagrad、Adadelta、RMSProp、Adam。 1 梯度下降法及其三个变种 1.1 BGD: Batch Gradient Descent 迭代规则： BGD（批量梯度下降，这里的批量实际上是全部数据）每次迭代采用整个训练集数据来计算损失函数J(θ)对参数θ的的梯度。 每次迭代的参数更新公式为： 优点： 由于每一步迭代使用了全部样本，因此当损失函数收敛过程比较稳定。对于凸函数可以收敛到全局最小值，对于非凸函数可以收敛到局部最小值。 缺点： 每一步更新中，都要利用 全部样本计算梯度，计算起来非常慢，遇到很大量的数据集也会非常棘手，而且不能投入新数据实时更新模型。 1.2 SGD: Stochastic Gradient Descent 迭代规则： SGD每次迭代利用每个样本计算损失函数对θ的梯度。 公式为： 优点：

1.1 scikit-learn参数介绍 1.1.1 导入 from sklearn.linear_model import LogisticRegression 1.1.2 版本 scikit-learn==0.21.3 1.1.3 参数 1.1.3.1 penalty l1 、l2 、elasticnet 、none ，默认l2 l1: l1正则，邻回归 l2: l2正则，套索回归 elasticnet: 弹性网络，是邻回归和套索回归的正则项的混合 none: 什么都不加 在调参时如果我们主要的目的只是为了解决过拟合，一般penalty选择L2正则化就够了。但是如果选择L2正则化发现还是过拟合，即预测效果差的时候，就可以考虑弹性网络和L1正则化，弹性网络优于L1正则，因为当特征数量超过训练实例数量，又或者是几个特征强相关时，L1正则的表现可能非常不稳定。另外，如果模型的特征非常多，我们希望一些不重要的特征系数归零，从而让模型系数稀疏化的话，也可以使用L1正则化。 penalty参数的选择会影响损失函数优化算法的选择，即参数solver的选择。 若是L2正则，有4种可选的算法：“newton-cg”,“lbfgs”，“liblinear”，“sag”, 若是L1 正则，有1 种可选的算法：“liblinear ”，L1 正则化的损失函数不是连续可导的。 若是elasticnet

（ 递推算法的首要问题是得到相邻的数据项间的关系（即递推关系）。递推算法避开了求通项公项的麻烦，把一个复杂的问题的求解，分解成了连续的若干步简单运算。一般说来，可以将递推算法看成是一种特殊的迭代算法。） 递归（调用本身）与迭代（新值换旧值）都是基于控制结构：迭代用重复结构，而递归用选择结构。递归与迭代都涉及重复：迭代显式使用重复结构，而递归通过重复函数调用实现重复。递归与迭代都涉及终止测试：迭代在循环条件失败时终止，递归在遇到基本情况时终止。使用计数器控制重复的迭代和递归都逐渐到达终止点：迭代一直修改计数器，直到计数器值使循环条件失败；递归不断产生最初问题的简化副本，直到达到基本情况。迭代和递归过程都可以无限进行：如果循环条件测试永远不变成false，则迭代发生无限循环；如果递归永远无法回推到基本情况，则发生无穷递归。 递归有许多缺点，它重复调用机制，因此重复函数调用的开销很大，将占用很长的处理器时间和大量的内存空间。每次递归调用都要生成函数的另一个副本(实际上只是函数变量的另一个副本)．从而消耗大量内存空间。迭代通常发生在函数内，因此没有重复调用函数和多余内存赋值的开销。那么，为什么选择递归呢？ --------------------------------------------------------------------------- 摘要：在算法的分析与设计中

很久以前写过一篇《递归与迭代》，写得不是很好。可能是我自己也没把思路理清楚，现在就有了个重新整理思路炒冷饭的机会，也算是一个新的开始吧。 首先解释一个术语叫“尾调用”。直接从wiki的“ 尾调用 ”条目抄：尾调用是指一个函数里的最后一个动作是一个函数调用的情形：即这个调用的返回值直接被当前函数返回的情形。这种情形下称该调用位置为尾位置。若这个函数在尾位置调用本身（或是一个尾调用本身的其他函数等等），则称这种情况为尾递归，是递归的一种特殊情形。 比如，下面这个是尾调用： return f(); 而这个不是： return 1 + f(); 关于尾调用，有个重要的优化叫做尾调用消除。经过尾调用消除优化后的程序在执行尾调用时不会导致调用栈的增长。其实，这个优化可能不算是优化。因为在某些计算模型中，尾调用天然不会导致调用栈的增长。在EOPL提到过一个原理： 导致调用栈增长的，是对参数的计算，而不是函数调用。 由于尾调用不会导致调用栈的增长，所以尾调用事实上不像函数调用，而更接近GOTO。尾递归则等同于迭代，只是写法上的不同罢了。 下面以计算幂为例，分别用递归、尾递归和迭代三种方法实现程序。其中尾递归方法是递归方法的改进，而迭代方法纯粹是从尾递归方法翻译而来。 问题 已知数（整数，或浮点数，这里假设是整数）\(b\) 和非负整数\(n\) ，求\(b\)的\(n\)次幂\(b^n\)。