并行处理

其实从一开始了解到go的goroutine概念就应该想到，其实go应该就是在内核级线程的基础上做了一层逻辑上的虚拟线程（用户级线程）+ 线程调度系统，如此分析以后，goroutine也就不再那么神秘了。 并发≠并行 假如我们有一段CPU密集型任务，我们创建2000个gorountine是否真的可以将其性能提高2000倍，答案必然是不能，因为我们只是进行了2000次的并发（concurrency），而并没有真正做到并行（parallelism）。 并发其实所指的是我们的程序执行逻辑，传统单线程应用的程序逻辑是顺序执行的，在任何时刻，程序只能处理同一个逻辑，而并发指的是，我们同时执行多个独立的程序逻辑，若干个程序逻辑在执行时可以是同时进行的（但并不代表同时进行处理）。实际上，不论我们并发多少个程序逻辑，若我们仅仅将其运行在一个单核单线程的CPU上，都不能让你的程序在性能上有所提升，因为最终所有任务都排队等待CPU资源（时间片）。 而并行才能让我们的程序真正的同时处理多个任务，但并行并不是编程语言能够带我们的特性，他需要硬件支持。上面说到单核CPU所有资源都要等待同一个CPU的资源，那么其实我们只要将CPU增多就能真正的让我们实现并行。我们可以使用多核CPU或用多台服务器组成服务集群，均可实现真正的并行，能够并行处理的任务数量也就是我们的CPU数量。 引用Rob Pikie大神在PPT《

第四章 程序设计语言 程序设计语言简介 定义：程序设计语言是一组用来定义计算机程序的语法规则。 三个元素：语法、语义和语用 语法：用字符组合合成语法的规则集合 语义：一条合法语句的含义 语用：涉及语言使用者各方面的内容 程序设计语言的基本成分：数据成分、运算成分、控制成分、传输成分 程序设计语言的分类及编程模式 分类 机器语言：二进制代码表示的能直结识别的机器指令的集合。 指令包括操作码域和地址域两部分。根据地址域所涉及的地址数量，常见的指令格式有以下几种。 ①三地址指令：一般地址域中A1、A2分别确定第一、第二操作数地址,A3确定结果地址。下一条指令的地址通常由程序计数器按顺序给出。 ②二地址指令：地址域中A1确定第一操作数地址，A2同时确定第二操作数地址和结果地址。 ③单地址指令：地址域中A 确定第一操作数地址。固定使用某个寄存器存放第二操作数和操作结果。因而在指令中隐含了它们的地址。 ④零地址指令：在堆栈型计算机中，操作数一般存放在下推堆栈顶的两个单元中,结果又放入栈顶,地址均被隐含，因而大多数指令只有操作码而没有地址域。 ⑤可变地址数指令：地址域所涉及的地址的数量随操作定义而改变。如有的计算机的指令中的地址数可少至 0个，多至6个。 汇编语言：采用助记符来编写程序，是机器语言的符号化。 机器指令： 1000100111011000 汇编指令： MOV AX, BX

计算机导论第五次课后总结 计算机导论的第五堂课，我们学习完了第四章程序设计语言和第五章计算机中的数据的内容。 第4章 程序设计语言 4.4 并行程序设计 4.4.1 并行程序设计语言 并行程序设计语言是一种用于并行程序设计的语言。并行程序设计语言可分为显式并行语言和具有并行编译功能的串行语言。 4.4.2 并行程序语言的编译过程 源程序——词法，语法分析——程序优化——并行代码生成——进入处理机（超标量处理机、多处理机、多计算机）。 在编译过程中，首先要确定源程序中数据和控制的相关性。在进行相关分析时，要把程序流的模式分析出来。在编译过程中，还要进行程序优化。 4.4.3 OpenMP OpenMP是一个编译器指令和库函数的集合，主要用于共享式存储计算机上的并行程序设计。 第五章计算机中的数据 5.1 数据 5.1.1 数据的定义 数据就是用文字、数字、图形、图像声音等方式对人、事件事物等进行的描述。在计算机科学中，数据是指所有能输入计算机并能被计算机程序处理的符号的总称，数字、文本、音频、图形、图像和视频等统称为数据。 5.1.2 数据与信息的区别 通常来说，输入计算机的字母，数字等符号为数据。如果字母，数字等符号具有一定含义且能帮助人们完成某个动作或做出决策，那么就称它们为信息。数据是供计算机处理的，信息是供用户使用的。 5.1.3 计算机常用的编码方式 ASCⅡ 扩展ASCⅡ

计算机导论12月12日课后总结 程序设计语言简介 程序设计语言的分类及编程模式 1机器语言 2汇编语言 3高级语言 编程模式 高级编程语言介绍 并行程序设计 并行程序设计语言 并行程序设计语言的编译过程 OpenMP 计算机中的数据 数据的定义 数据和信息的区别 计算机常用的编码方式 数据结构 数据结构的定义 数据的逻辑结构 数据的物理结构 常见的数据结构 算法 数据库 数据库的定义及特点 数据库的体系结构 数据库模型 关系的操作及结构化查询语言 数据库管理系统 主流数据库 数据中心 数据中心的定义 数据中心的组成 新一代数据中心 计算机一应用的发展方向 高性能化 网络化 智能化 参考链接 计算机类m1803 王贺 程序设计语言简介 程序设计语言是一组用来定义计算机程序的语法规则。 程序设计语言的分类及编程模式 主要分为机器语言、汇编语言、高级语言三大类。 1机器语言 机器语言是用二进制代码表示的计算机能直接识别和执行的机器指令的集合。机器语言是计算机唯一能识别的语言。 2汇编语言 机器语言的符号化。编写程序占用内存少，运行速度快，有着高级语言不可替代的作用。 3高级语言 高级语言是面向用户的语言，是一种与自然语言相近并为计算机所接受和执行的计算机语言。 编程模式 程序设计语言按解决问题的模式分为四种：过程式编程模式、面向对象编程模式、函数式编程模式说明式编程模式。  

我们目前的计算机都是基于冯偌伊曼结构的，在MIMD作为主要研究对象的系统中，分为两种类型： 共享内存系统 和 分布式内存系统 ，之前我们介绍的基于MPI方式的并行计算编程是属于分布式内存系统的方式，现在我们研究一种基于OpenMP的共享内存系统的并行编程方法。OpenMP是一个什么东东？首先我们来看看来之百度百科中的定义：OpenMp是由OpenMP Architecture Review Board牵头提出的，并已被广泛接受的，用于共享内存并行系统的多处理器程序设计的一套指导性的编译处理方案(Compiler Directive)。OpenMP支持的编程语言包括C语言、C++和Fortran；而支持OpenMp的编译器包括Visual studio，Sun Compiler，GNU Compiler和Intel Compiler等。OpenMP功能中最强大的一个功能是：在我们之前串行程序的源码基础上，只要进行少量的改动，就可以并行化许多串行的for循环，达到明显提高性能的效果。 1.OpenMP环境配置与例子 废话不多少，首先上一个例子，由于本文以Vs 2015作为IDE，C++作为开发语言，在正式进行OpenMP编码之前，需要对编译器稍微配置一下。启动VS2015新建一个C++的控制台应用程序，如下图所示： 然后在项目解决方案资源管理器上选择项目名称，点击右键，选择“属性”

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 报表在展现或导出时往往需要从数据库中取出大量数据，而 JDBC 的取数速度一向比较慢，有可能成为报表各运算环节的短板或瓶颈，从而严重影响整个报表的生成效率。针对这一问题，润乾报表可以利用并行计算机制（需要结合集算器实现）来显著提高 JDBC 的取数性能。 所谓并行取数是指，使用多线程技术在报表工具与数据库之间建立多个连接，同时读取一份源数据。这种读取方式需要将源数据分段，每个线程（数据库连接）读取其中一段内容，最后将所有线程的结果合并得到最终结果。这种看似复杂的方式对于润乾报表来说，可以由内置的并行机制（需要结合集算器实现）很容易完成。下面就以 oracle 为例说明实现过程。 报表描述 用户状态表展现的是明细数据，由于需要导出，必须一次性读取数据表中所有数据。单表数据量为 360 万，报表样式为： 以下为实现步骤： 编写脚本 使用集算器编写脚本（parallel.dfx），实现并行取数逻辑。首先确定分段字段，这里选择数值型的 userid 字段，再据设定的线程数和 userid 最大值（定义为大数值常量）计算每段中 userid 的范围；最后根据指定的数据范围通过 sql 分段读取数据，完成多线程取数过程。以下为实现脚本： A B 1 2020000000L userid 最大值不超过 2020M 2 4

并发 　　并发当有多个线程在操作时,如果系统只有一个CPU,则它根本不可能真正同时进行一个以上的线程，它只能把CPU运行时间划分成若干个时间段,再将时间 段分配给各个线程执行，在一个时间段的线程代码运行时，其它线程处于挂起状。.这种方式我们称之为并发(Concurrent)。 并行 　　当系统有一个以上CPU时,则线程的操作有可能非并发。当一个CPU执行一个线程时，另一个CPU可以执行另一个线程，两个线程互不抢占CPU资源，可以同时进行，这种方式我们称之为并行(Parallel)。 区别：并发和并行是即相似又有区别的两个概念，并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔内发生。在 多道程序 环境下， 并发性 是指在一段时间内宏观上有多个程序在同时运行，但在 单处理机系统 中，每一时刻却仅能有一道程序执行，故微观上这些程序只能是分时地交替执行。倘若在 计算机系统 中有多个 处理机 ，则这些可以并发执行的程序便可被分配到多个处理机上，实现 并行执行 ，即利用每个处理机来处理一个可并发执行的程序，这样，多个程序便可以同时执行。 来源： https://www.cnblogs.com/Bin-y/p/10964035.html

业务场景说明 : 消息队列在大型电子商务类网站，如京东、淘宝、去哪儿等网站有着深入的应用， 队列的 主要作用 是 消除高并发访问高峰 ， 加快网站的响应速度 。 在不使用消息队列的情况下，用户的请求数据直接写入数据库，在高并发的情况下，会对数据库造成巨大的压力，同时也使得系统响应延迟加剧。 在使用队列后，用户的 请求发给队列 后立即返回, （例如: 当然不能直接给用户提示订单提交成功，京东上提示：您“您提交了订单，请等待系统确认”）， 再由消息队列的 消费者 进程 从消息队列 中 获取数据 ， 异步写入数据库 。 由于消息队列的服务处理速度 远快于数据库 ，因此用户的 响应延迟可得到有效改善 。 图解说明: 1. 消息队列说明 消息队列中间件是 分布式系统中重要的组件 ，主要解决应用耦合，异步消息，流量削锋等问题。 实现高性能，高可用，可伸缩和最终一致性架构。是大型分布式系统不可缺少的中间件。 目前在生产环境，使用较多的消息队列有 ActiveMQ ， RabbitMQ ， ZeroMQ ， Kafka ， MetaMQ ， RocketMQ 等。 2. 消息队列应用场景 消息队列在实际应用中常用的使用场景。 异步处理，应用解耦，流量削锋和消息通讯四个场景 。 2.1. 异步处理 场景说明：用户注册后，需要发注册邮件和注册短信。传统的做法有两种 1. 串行的方式； 2. 并行方式。

第四章 程序设计语言 4 .1 程序设计语言简介 1. 程序设计语言：一组用来定义计算机程序的语法规则 2. 程序设计语言三个要素：语法、语义、语用 语法是什么 语义是什么 语用又是什么 在实际程序设计中该如何巧妙的运用好这三个要素设计出好的程序。 语法表示程序的结构或形式，亦即表示构成语言的各个记号之间的组合规律，但不涉及这些记号的特定含义，也不涉及使用者。语义表示程序的含义，亦即表示按照各种方法所表示的各个记号的特定含义，但不涉及使用者。语用表示程序与使用者的关系。 3. 程序设计语言的基本成分 ①数据成分：用于描述程序所涉及的数据 ②运算成分：用以描述程序所包含的运算 ③控制成分：用以描述程序所包含的控制 ④传输成分：用以表达程序中数据的传输 4.2 程序设计语言的分类及编程模式 程序设计语言三大类：机器语言、汇编语言、高级语言 1. 机器语言：机器语言是用二进制代码表示的计算机能直接识别和执行的机器指令的集合。机器指令是指计算机可以执行的命令。 2. 汇编语言：因为直接用机器语言编写程序非常不方便，所以人们使用汇编语言来代替机器语言。汇编语言采用助记符来编写程序，是机器语言的符号化。 3. 高级语言：高级语言是面向用户的语言，是一种与自然语言相近并为计算机所接受和执行的计算机语言。 编程模式分类： （一般） 1. 过程式编程模式： C 语言 2. 面向对象编程模式：

一、常规性能调优 1.最佳的资源配置 Executor个数 Executor核数 Executor内存大小 2. rdd优化 对于需要多次用到的数据进行持久化 ， 尽量将filter的操作提前 3.并行度的优化 并行度的调节，一般设置task数量为核数的2-3倍，与数据量的大小无关 4.采取 广播大变量 5.采用kryo压缩格式 6.调节本地化等待的时长 task会被分配到本地化等级较高的节点上，而该节点正在处理其余任务没有多于的资源，到达了等待时长后会将本地化降级，可能分配到没有数据的另一个节点上，后续会拉取数据运行任务，此过程的网络io是不愿意看到的，可以调高一点本地等待时长 二·、算子优化 1.map方法有时候也可以用mapPartition来替换，以pritition为单位来处理，使用mapPartition是将分区的数据 一次性接受处理，效率提高 2.foreachPartition的使用 用来优化一些连接对象的操作，避免一条消息处理创建一个连接对象 3.filter 和coalesce（默认bushuffle的 设置为可shuffle）的配合使用 避免数据倾斜 4.repartition和sparkSql sparkSql的并行度不允许用户自己指定，用户自定设置的并行度只对sparkSQ以外的stage有效L当遇到大量数据时