近似算法

转自： http://www.cnblogs.com/jessy/articles/2455226.html 迭代算法 军人在进攻时常采用交替掩护进攻的方式，若在数轴上的点表示A，B两人的位置，规定在前面的数大于后面的数，则是A>B，B>A交替出现。但现在假设军中有一个胆小鬼，同时大家又都很照顾他，每次冲锋都是让他跟在后面，每当前面的人占据一个新的位置，就把位置交给他，然后其他人再往前占领新的位置。也就是A始终在B的前面，A向前迈进，B跟上，A把自己的位置交给B（即执行B = A操作），然后A 再前进占领新的位置，B再跟上……直到占领所有的阵地，前进结束。像这种两个数一前一后逐步向某个位置逼近的方法称之为迭代法。 迭代法也称辗转法，是一种不断用变量的旧值递推新值的过程,跟迭代法相对应的是直接法（或者称为一次解法），即一次性解决问题。迭代算法是用计算机解决问题的一种基本方法。它利用计算机运算速度快、适合做重复性操作的特点，让计算机对一组指令（或一定步骤）进行重复执行，在每次执行这组指令（或这些步骤）时，都从变量的原值推出它的一个新值。 利用迭代算法解决问题，需要做好以下三个方面的工作： 一、确定迭代变量。在可以用迭代算法解决的问题中，至少存在一个直接或间接地不断由旧值递推出新值的变量，这个变量就是迭代变量。 二、建立迭代关系式。所谓迭代关系式

　　针对牛顿法中海塞矩阵的计算问题，拟牛顿法主要是使用一个海塞矩阵的近似矩阵来代替原来的还塞矩阵，通过这种方式来减少运算的复杂度。其主要过程是先推导出海塞矩阵需要满足的条件，即拟牛顿条件（也可以称为拟牛顿方程）。然后我们构造一个满足拟牛顿条件的近似矩阵来代替原来的海塞矩阵。 　　另外，在满足拟牛顿条件的基础上如何构造近似的海塞矩阵，这有很多种方法，比如：DFP算法，BFGS算法，L-BFGS算法以及Broyden类算法等。本文主要介绍前两种算法构造近似还塞矩阵。 1、拟牛顿条件 那么，如何构造一个近似海塞矩阵呢？即构造出来的近似海塞矩阵需要满足哪些条件呢？为此，我们先来看下牛顿法中的海塞矩阵是如何推导出来的。 在牛顿法中，首先对函数f(x)在x=x k+1 处进行泰勒展开，即： 然后对f(x)求偏导： 在牛顿法中，到此步后我们就已经得到了海塞矩阵，然后对f(x)的导数赋值为0，得到x的值。 但是我们这次是为了得到海塞矩阵需要满足的条件，于是我们令x=x k 得到： 即： 为了简化下面的符号表达式，令： 于是有： 上式中B k+1 为海塞矩阵，D k+1 为海塞矩阵的逆矩阵。 到了此步，我们可以看出海塞矩阵需要满足（式1.1）这个条件。那么在满足此条件的基础上如何构造近似海塞矩阵呢？下面介绍两个方法：DFP算法和BFGS算法。 1、DFP算法 该算法的核心思想在于通过迭代的方法

这是一份贝叶斯机器学习路线图, 正在不断更新中. 路线图由简短的介绍配以相应的学习资源组成, 读者不一定要按顺序学习, 可以直接定位到自己需要的地方. 很多时候, 我们希望自学某个领域的知识, 学习能力是不差的, 但苦于不知该学哪些, 从何学起, 看什么书/视频好? 各个概念/知识点之间是怎样的联系? 这份路线图是为解决以上问题而生的, 对于学习贝叶斯机器学习应该十分有帮助. 若您发现错漏, 欢迎评论指正! 也希望有更多的人愿意分享自己所在领域的"学习路线图"! (注意: 文中部分资源链接需要科学上网方可打开) 本文目录结构如下: 核心主题 中心问题 参数估计 模型比较 非贝叶斯方法 最大似然 正则化 EM算法 基本推断算法 MAP估计 Gibbs采样 马尔科夫链蒙特卡洛(MCMC) 变分推断(Variational inference) 模型 混合高斯 因子分析 隐马尔科夫模型(HMM) 贝叶斯模型比较 贝叶斯信息准则(Bayesian information criterion) 拉普拉斯近似(Laplace approximation) 进阶主题 模型 逻辑回归(Logistic regression) 贝叶斯网络(Bayesian networks) Latent Dirichlet allocation(LDA) 线性动态系统(Linear dynamical

一、图灵机 根据有限状态控制器的当前状态及每个读写头读到的带符号，图灵机的一个计算步可实现下面3个操作之一或全部。 （1）改变有限状态控制器中的状态。 （2）清除当前读写头下的方格中原有带符号并写上新的带符号。 （3）独立地将任何一个或所有读写头，向左移动一个方格(L)或向右移动一个方格(R)或停在当前单元不动(S)。 k带图灵机可形式化地描述为一个7元组(Q，T，I，δ，b，q0，qf)，其中: （1） Q是有限个状态的集合。 （2）T是有限个带符号的集合。 （3）I是输入符号的集合 。 （4）b是唯一的空白符，b∈T-I。 （5）q0是初始状态。 （6）qf是终止(或接受)状态。 （7）δ是移动函数。 它是从Q×Tk的某一子集映射到Q×(T×{L，R，S})k的函数。 图灵机M的时间复杂性T(n)是它处理所有长度为n的输入所需的最大计算步数。如果对某个长度为n的输入，图灵机不停机，T(n)对这个n值无定义。 图灵机的空间复杂性S(n)是它处理所有长度为n的输入时，在k条带上所使用过的方格数的总和。如果某个读写头无限地向右移动而不停机，S(n)也无定义。 确定型图灵机 有限状态集Q，状态q0:初始状态；qy：接受状态；状态qn：不接受状态。 字符集合{0, 1, b} ；其中b是空格符。 转换功能： 输入x = 101000b 执行顺序： q0输入1 （q0,r）右移磁头到0

1、algorithm analysis O B/W/AV/AMOR，混入其他问题，设计+分析 2、传统算法(肯定要考) 1)divide and conquer master therem、 recursive tree、分析复杂度、递归树加起来得到最终结果 2)greedy algorithm example sort->select 拟阵 独立系统的贪心模板，直接得到近似比 3)dynamic programming sub-optimal structrue、编辑距离 3、graph algorithm 1）exproration bfs and dfs、最小生成树 2）最短路，single path all pair 负环、负边 3）max-flow 优化方式 4、turing machine Np/NPC NP-hard np-reduction 5、approximation greedy/sequential/local search/lp rouding 三种算法的设计、图算法、图灵机、近似算法 来源： https://www.cnblogs.com/elpsycongroo/p/11939165.html

来源：大数据算法 王宏志 一、概述 大数据定义：在给定的 资源约束 下，以大数据为输入，在给定 时间约束 内可以生成满足给定 约束 结果的算法。 大数据特点：4V 大数据算法可以不是： 精确算法 内存算法 串行算法 仅在电子计算机上运行的算法 大数据算法不仅是： 云计算 MapReduce 大数据分析和挖掘的算法 难度： 访问全部数据时间过长 读取部分数据 亚线性算法 数据难以放入内存 将数据存储到磁盘上 外存算法 仅基于少量数据进行计算 空间亚线性算法 单个计算机难以保存全部数据 并行处理 并行算法 计算机能力不足或知识不足 人来帮忙 众包算法 大数据上问题求解计算问题的过程 大数据的算法设计技术 精确算法设计方法 并行计算 近似计算 随机算法 在线算法/数据流算法 外存算法 面向新型体系结构的算法 现代优化算法 大数据算法分析 时间空间复杂性 IO复杂性 结果质量（近似比、competitive ratio） 通讯复杂性 二、亚线性算法概述 1.定义 时间/空间/IO/通讯/能量等消耗是 o(输入规模) 亚线性时间算法 性质检测算法 亚线性时间近似算法 亚线性空间算法 数据流算法 2.空间亚线性算法-水库抽样 输入：一组数据，其大小未知 输出：这组数据的k个均匀抽样 要求： 仅扫描数据一次 空间复杂性为O(k) 和抽样大小有关，和整个数据无关 扫描到数据的前n个数字时（n>k）

问题：求解x²-2=0(x>0)的近似解算法 算法分析：利用二分法来求。基本思想是：把函数f(x)的零点区间[a,b]“一分为二”(也就是满足f(a)*f(b)<0)，这样就得到[a,m]和[m,b]，然后再判断f(a)*f(m)<0是否成立，取出零点所在的区间[a,m]或[m,b]，然后重复上述步骤，直到区间范围足够小。就可以得到方程的近似解。 def equation(x): return x ** 2 - 2 def get_num(a, b, n): """ :param a: 要求解定义域的前区间 :param b: 要求解定义域的后区间 :param n: 要进行二分循环的次数 :return: 如果在这个区间内有接，返回一个更加精确的区间。否则返回原区间。 """ i = 0 while equation(a) * equation(b) < 0 and i <= n: m = (a + b) / 2 if equation(a) * equation(m) < 0: b = m else: a = m i += 1 return a, b print(get_num(1, 2, 10)) 二分法求方程近似解 来源： https://www.cnblogs.com/walle-zhao/p/11695508.html

参考：《用python解决数据结构和算法》 O(f(n))提供了计算过程中实际步数的近似值。函数 f(n)是原始函数 T(n)中主导部分的简化表示。 T(n) = 5n²+27n+1005 当 n 越来越大时，我们就可以忽略其余项，只关注用 5n²来代表 T(n)的近似值了。同样，系数 5 的作用也会越来 越小，也可以忽略。我们就会说函数 T(n)的数量级 f(n) = n²，即 O(n²) 来源： https://www.cnblogs.com/testzcy/p/11517563.html

1、algorithm analysis O B/W/AV/AMOR，混入其他问题，设计+分析 2、传统算法(肯定要考) 1)divide and conquer master therem、 recursive tree、分析复杂度、递归树加起来得到最终结果 2)greedy algorithm example sort->select 拟阵 独立系统的贪心模板，直接得到近似比 3)dynamic programming sub-optimal structrue、编辑距离 3、graph algorithm 1）exproration bfs and dfs、最小生成树 2）最短路，single path all pair 负环、负边 3）max-flow 优化方式 4、turing machine Np/NPC NP-hard np-reduction 5、approximation greedy/sequential/local search/lp rouding 三种算法的设计、图算法、图灵机、近似算法 来源： https://www.cnblogs.com/elpsycongroo/p/11939165.html