迭代计算

如果对象时实际保存的 序列 或是在 迭代工具 上下文中（例如，for循环）一次产生一个结果的对象，那么就看作是可迭代的。总之，可迭代对象包括实际序列，以及能按照需求计算的 虚拟序列 。术语可迭代对象与迭代器在指代支持迭代的对象的时候，常常是可以互换的。一般倾向用可迭代对象（iterable）来指代一个支持iter调用的对象，同时用迭代器（iterator）来指代一个支持next（I）调用的对象。生成器指代自动支持迭代协议的对象，因此生成器本身就是可迭代对象。 内置函数next会自动调用一个对象的__next__方法。for循环在开始时，会首先把可迭代对象传入内置函数iter，并由此拿到一个迭代器，迭代器对象有着所需的next方法。 一些对象即使迭代上下文的工具（它们可以主动发起迭代），也是可迭代对象（他们的返回值可迭代），包括生成器表达式，以及map、zip内置函数。 列表以及很多其他的内置对象，由于自身不是迭代器，对这样的对象，我们必须调用iter来启动迭代。 来源： https://www.cnblogs.com/biwangwang/p/11330174.html

魔法方法 ： 关于魔法方法，其实是有比较多的，但我现在接触的最多的莫过于“构造函数”了，而在之前的文章中同样对于该函数有过介绍，这次主要是将我对这个知识点的一个困惑写出来，希望能对有相同困惑的读者提供一点点帮助，也是为自己做下记录。 1、子类继承父类（也就是在class B(A)）之后，没有重写父类的构造函数，那么也不需要在子类中重新对父类的构造函数重新初始化了，就像我的第一张截图上所定义的子类，其中没有任何的初始化函数，但是子类的实例依然完成了父类构造函数的初始化。 2、子类继承父类后，自己重写了构造函数，这个时候就要在子类的构造函数中重新对父类的构造函数进行初始化，不然子类的实例只会对子类的构造函数进行初始化，而不会对父类的构造函数进行初始化。 总的来说 ，若是子类没有重写构造函数，那么子类的实例就会直接初始化父类的构造函数；若是子类重写了构造函数，就相当于对父类的构造函数进行了覆盖，若想初始化父类的构造函数，就必须要在子类的构造函数中再进行定义 这是因为我在之前总是以为，当子类继承了父类之后，其中的属性和方法均完全继承过来，所以我在看到重写子类构造函数时候还要再重新对父类的构造函数进行初始化感到困惑。 生成器&迭代器 ： 生成器 关于生成器，不知道大家是否还记得我之前文章中介绍的列表推导式，而我们不管是使用列表推导式还是循环的方式，都是直接生成全部的列表

1、介绍 itertools 是python的迭代器模块，itertools提供的工具相当高效且节省内存。 使用这些工具，你将能够创建自己定制的迭代器用于高效率的循环。 - 无限迭代器 　itertools包自带了三个可以无限迭代的迭代器。这意味着，当你使用他们时，你要知道要的到底是最终会停止的迭代器，还是需要无限地迭代鞋去。 （1）count(初值=0, 步长=1) :count 迭代器会返回从传入的起始参数开始的均匀间隔的数值。count 也可以接收指定的步长参数。我们来看一个简单的例子： ''' 遇到问题没人解答？小编创建了一个Python学习交流QQ群：857662006 寻找有志同道合的小伙伴，互帮互助,群里还有不错的视频学习教程和PDF电子书！ ''' >>> from itertools import count >>> for i in count(10): #从10开始无限循环 ... if i > 20: ... break ... else: ... print(i) ... 10 11 12 13 14 15 16 17 18 19 20 （2）islice(count(10), 5) ：从 10 开始，输出 5 个元素后结束。islice 的第二个参数控制何时停止迭代。但其含义并不是”达到数字 5 时停止“，而是”当迭代了 5 次之后停止“。 >>>

提出问题 1. shuffle过程的数据是如何传输过来的，是按文件来传输，还是只传输该reduce对应在文件中的那部分数据？ 2. shuffle读过程是否有溢出操作？是如何处理的？ 3. shuffle读过程是否可以排序、聚合？是如何做的？ 。。。。。。 概述 在 spark shuffle的写操作之准备工作 中的 ResultTask 和 ShuffleMapTask 看到了，rdd读取数据是调用了其 iterator 方法。 计算或者读取RDD org.apache.spark.rdd.RDD#iterator源码如下，它是一个final方法，只在此有实现，子类不允许重实现这个方法： 思路：如果是已经缓存下来了，则调用 org.apache.spark.rdd.RDD#getOrCompute 方法，通过底层的存储系统或者重新计算来获取父RDD的map数据。否则调用 org.apache.spark.rdd.RDD#computeOrReadCheckpoint ，从checkpoint中读取或者是通过计算来来获取父RDD的map数据。 我们逐一来看其依赖方法： org.apache.spark.rdd.RDD#getOrCompute 源码如下： 首先先通过Spark底层的存储系统获取 block。如果底层存储没有则调用 org.apache.spark.rdd.RDD

高阶内置函数： 学习地址： https://blog.csdn.net/weixin_42134789/article/details/82381828 高阶函数定义： 1.函数套函数，函数的参数有函数 2. return一个函数 对于返回是一个函数对象的函数，有两种处理方式： 1.直接使用list将map转换成list，如list（map（func，sep）） 2.使用for遍历去取值，for i in map（dunc，sep） amy 和 all函数： （不常用） any（）：参数是一个可迭代对象，使用布尔函数bool（）对可迭代中的每个元素进行判断真假 1.如果可迭代对象不是空，只要有一个元素是真，返回Ture 2.如果可迭代对象是空，则返回False data = [ 'a' , 'b' , 'c' , '' ] print ( any ( data ) ) data1 = [ ] print ( any ( data1 ) ) #打印结果： True False all（）：参数是一个可迭代对象，使用布尔函数bool（）对可迭代中的每个元素进行判断真假 1.如果可迭代对象不是空，必须所有元素都是真，返回Ture 2.如果可迭代对象是空，则返回True data = [ 'a' , 'b' , 'c' , '' ] print ( all ( data ) ) data1

文章目录 摘要 1. 简介 2. 编程模型 2.1 弹性分布式数据集（RDD） 2.2 并行操作 2.3 共享变量 3. 示例 3.1 文本搜索 3.2 逻辑回归 3.3 交替的最小二乘 4. 实现 4.1 共享变量 4.2 编译器集成 5. 成果 5.1 逻辑回归 5.2 交替的最小二乘 5.3 交互式Spark 6. 相关工作 6.1 分布式共享内存 6.2 集群计算框架 6.3 语言集成 6.4 血缘 7. 讨论及未来的工作 8. 致谢 参考文章 摘要 MapReduce及其变体在商业集群上实现大规模数据密集型应用方面非常成功。但是，大多数这些系统都是围绕非迭代数据流模型构建的，而这种模型不适合其他流行的应用程序。本文重点介绍这样一类应用：在多个并行操作中复用一个工作集数据的应用。这包括许多迭代机器学习算法，以及交互式数据分析工具。我们提出了一个支持这类应用的名为Spark的新框架，同时保留MapReduce的可伸缩性和容错性。为了实现这些目标，Spark引入了一种称为弹性分布式数据集（RDD）的抽象。RDD是分区分布在一组机器上的一个只读对象的集合，如果一个分区数据丢失后可以重建。在迭代机器学习任务中，Spark的性能超过Hadoop 10倍，并且交互式查询39 GB数据集可以亚秒响应时间。 1. 简介 一种新的集群计算模型已经变得广泛流行

1.什么是线性回归？ 线性回归是试图在一堆数据中训练得到自变量x和因变量y中一组线性关系，如 y = w x + b y=wx+b y = w x + b 。例如把人脚底板长度作为自变量，身高作为因变量，那么在这两种数据之间就可以做一个简单线性回归，可以得到脚底板长度和身高的关系式。 维基百科：线性回归 在统计学中，线性回归是利用称为线性回归方程的最小二乘函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。 周志华：机器学习 基于均方误差最小化来进行模型求解的方法称为“最小二乘法”，线性回归中最小二乘法就是试图找到一条直线，使所有样本到直线上的欧氏距离之和最小。 2. 线性回归的目标函数 要想求得这组线性关系，即求得相应的回归系数的值。那么先讲解一下线性回归的目标函数。 假设一堆数据中因变量为y，自变量为 x 1 , x 2 , . . . , x n x_1,x_2,...,x_n x 1 ​ , x 2 ​ , . . . , x n ​ ，对其进行线性回归，求得结果会如下所示： y = w 0 + w 1 x 1 + w 2 x 2 + . . . + w n x n = ∑ i = 0 n w i x i = w T x y=w_0+w_1x_1+w_2x_2+...+w_nx_n=\sum_{i=0}^nw_ix_i=w^Tx y = w 0 ​ + w 1 ​

　　这本书的python3例子都比较基础，本来打算边看边练习一遍拉倒。可后来俺意识到别人的脑子是肉做的，俺的脑子似乎是筛子做的，只能筛住新鲜的空气而对自由的知识无能为力。。。因此记一记还是有必要的。因为是第二遍，主要目标是知识结构的巩固和改善，所以不会涉及具体细节，只打算发一些概念及思想(yes very boring)。 　　　　 book structure 第一部分：python编程简介。 第二部分：面向对象编程简介。这部分将介绍不同的编程范式，着重阐述面向对象 编程。 第三部分：编程工具简介。将介绍提升编程生产力的不同工具。 第四部分：计算机科学简介。将简要介绍计算机科学知识，主要涵盖两个主题—算 法和数据结构。 第五部分：找到工作。后一部分是关于佳编程实践，如何找到软件工程师的工 作，团队协作以及程序员的自我提升。 注：这本书的中文版比英文版少了一些内容 Part1 Explanation of Python terms 关键字：编程语言中具有特殊意义的词。可在 http://theselftaughtprogrammer.io/keywords 网页中查看所有 Python 的关键字。 数据类型：数据所属的类别。 对象：Python 中具有 3 个属性的数据值—唯一标识、数据类型和值。 Str：字符串的数据类型。 字符：a 或 l 等单个符号。 Int：整数的数据类型。

前言 对大多数计算模型而言，顺序都是基本的东西，它确定了为完成所期望的某种工作，什么事情应该最先做，什么事应该随后做，我们可以将语言规定顺序的机制分为几个类别： 顺序执行 选择 迭代 过程抽象 递归 并发 异常处理和推断 非确定性 对于不同类别的语言对不同类别的控制流的重要性也不尽相同，比如顺序执行相比于函数式对于命令式则更加重要。而命令式中更倾向用迭代，函数则更强调递归 表达式求值 在讨论控制流之前先讨论下表达式的问题，先明确两个概念：运算符通常是指那些采用特殊语法形式的内部函数（比如+-*/等），运算对象指的是运算符的参数（如2+3，2和3就是运算对象），那么运算符和运算对象的组合就是表达式。一般根据运算符出现的位置（相对于运算对象而言），可以分为3类表示形式：前缀、中缀和后缀。比如Lisp就运用前缀语法： (+ 1 3 4 6) (* (+ 1 7) 8) 大多数命令式语言对二元运算符都使用中缀记法，而对一元运算符和其它函数使用前缀激发。但是像Lisp就全部统一使用中缀记法 优先级和结合性 大多数程序设计语言都提供丰富的内部算术。在用中缀方式（没有括号）写出就可能出现歧义。所以就需要优先级和结合性来解决歧义性，但是我觉得 妈的你写括号就完事儿了 而且不同语言的优先级和结合性也不尽相同 赋值 在纯函数式语言中，程序的基本组成部分是表达式，计算也仅是对表达式求值

系列博客，原文在笔者所维护的github上： https://aka.ms/beginnerAI ， 点击star加星不要吝啬，星越多笔者越努力。 2.2 非线性反向传播 2.2.1 提出问题 在上面的线性例子中，我们可以发现，误差一次性地传递给了初始值w和b，即，只经过一步，直接修改w和b的值，就能做到误差校正。因为从它的计算图看，无论中间计算过程有多么复杂，它都是线性的，所以可以一次传到底。缺点是这种线性的组合最多只能解决线性问题，不能解决更复杂的问题。这个我们在神经网络基本原理中已经阐述过了，需要有激活函数连接两个线性单元。 下面我们看一个非线性的例子，如图2-8所示。 图2-8 非线性的反向传播 其中 \(1<x<=10，0<y<2.15\) 。假设有5个人分别代表x、a、b、c、y： 正向过程 第1个人，输入层，随机输入第一个x值，x取值范围(1,10]，假设第一个数是2 第2个人，第一层网络计算，接收第1个人传入x的值，计算： \(a=x^2\) 第3个人，第二层网络计算，接收第2个人传入a的值，计算b： \(b=\ln (a)\) 第4个人，第三层网络计算，接收第3个人传入b的值，计算c： \(c=\sqrt{b}\) 第5个人，输出层，接收第4个人传入c的值 反向过程 第5个人，计算y与c的差值： \(\Delta c = c - y\) ，传回给第4个人 第4个人