并行处理

进程的并行和并发 一、进程的并行和并发 并行: 并行是指两者同时执行，比如赛跑，两个人都在不停的往前跑；（资源够用，比如三个线程，四核的CPU ） 并发:并发是指资源有限的情况下，两者交替轮流使用资源，比如一段路(单核CPU资源)同时只能过一个人，A走一段后，让给B，B用完继续给A ，交替使用，目的是提高效率。 二、并行和并发的区别 并行是从微观上，也就是在一个精确的时间片刻，有不同的程序在执行，这就要求必须有多个处理器。 并发是从宏观上，在一个时间段上可以看出是同时执行的，比如一个服务器同时处理多个session。 来源： https://www.cnblogs.com/Dr-wei/p/11851743.html

来源： https://blog.csdn.net/weixin_42001089/article/details/88843152 import multiprocessing import time import os print("温馨提示：本机为",os.cpu_count(),"核CPU") def func(msg): print "msg:", msg time.sleep(3) print "end" if __name__ == "__main__": #这里开启了4个进程 pool = multiprocessing.Pool(processes = 4) for i in xrange(4): msg = "hello %d" %(i) pool.apply_async(func, (msg, )) pool.close() pool.join() #调用join之前，先调用close函数，否则会出错。执行完close后不会有新的进程加入到pool,join函数等待所有子进程结束 print "Successfully" 来源： https://www.cnblogs.com/yibeimingyue/p/11832104.html

并行流 多线程 把一个内容分成多个数据块 不同线程分别处理每个数据块的流 串行流 单线程 一个线程处理所有数据 java8 对并行流优化 StreamAPI 通过parallel() 并行流 sequential() 顺序流 注意： 使用并行流并不是一定会提高效率，因为jvm对数据进行切片和切换线程也是需要时间的。 所以数据量越小，串行操作越快；数据量越大，并行操作效果越好。 StreamAPI 通过parallel() 并行流 底层是 Fork/join 框架 Fork/join 框架 将任务分解成 若干小任务(分解到不可分解为止) 小任务的结果 join汇总 Fork/Join与传统线程池的区别！ Fork/Join采用“工作窃取模式”，当执行新的任务时他可以将其拆分成更小的任务执行，并将小任务加到线程队列中，然后再从一个随即线程中偷一个并把它加入自己的队列中。 就比如两个CPU上有不同的任务，这时候A已经执行完，B还有任务等待执行，这时候A就会将B队尾的任务偷过来，加入自己的队列中，对于传统的线程，ForkJoin更有效的利用的CPU资源！ ForkJoin的实现：实现这个框架需要继承RecursiveTask 或者 RecursiveAction ，RecursiveTask是有返回值的，相反Action则没有 1 package com.wf.zhang.java8

　　RDD是分布式内存的一个抽象概念，是一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，能横跨集群所有节点并行计算，是一种基于工作集的应用抽象。 　　RDD底层存储原理：其数据分布存储于多台机器上，事实上，每个RDD的数据都以Block的形式存储于多台机器上，每个Executor会启动一个BlockManagerSlave，并管理一部分Block；而Block的元数据由Driver节点上的BlockManagerMaster保存，BlockManagerSlave生成Block后向BlockManagerMaster注册该Block，BlockManagerMaster管理RDD与Block的关系，当RDD不再需要存储的时候，将向BlockManagerSlave发送指令删除相应的Block。 　　BlockManager管理RDD的物理分区，每个Block就是节点上对应的一个数据块，可以存储在内存或者磁盘上。而RDD中的Partition是一个逻辑数据块，对应相应的物理块Block。本质上，一个RDD在代码中相当于数据的一个元数据结构，存储着数据分区及其逻辑结构映射关系，存储着RDD之前的依赖转换关系。 　　BlockManager在每个节点上运行管理Block(Driver和Executors)，它提供一个接口检索本地和远程的存储变量，如memory、disk

目录 (?) [-] Go语言的并发和并行 goroutine是在并行吗 并行和并发 真正的并行 一个小问题 runtime调度器 总结 开启多核的实验 Go语言的并发和并行 不知道你有没有注意到一个现象，还是这段代码，如果我跑在两个goroutines里面的话: var quit chan int = make ( chan int ) func loop () { for i := 0 ; i < 10 ; i ++ { fmt . Printf ( "%d " , i ) } quit <- 0 } func main () { // 开两个goroutine跑函数loop, loop函数负责打印10个数 go loop () go loop () for i := 0 ; i < 2 ; i ++ { <- quit } } 我们观察下输出: 0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 6 7 8 9 这是不是有什么问题？? 以前我们用线程去做类似任务的时候，系统的线程会抢占式地输出， 表现出来的是乱序地输出。而goroutine为什么是这样输出的呢？ goroutine是在并行吗？ 我们找个例子测试下: package main import "fmt" import "time" var quit chan int func foo ( id int

并行＆并发概念 （并行＆并发）学习这两个概念首先明确这两个概念的区别，这两个概念的区别贯穿本文，两个是不同的概念 并行：并行是解决了什么事(ing)，一段时间或则同一时刻 做了几件事 并发：并发是有多少事要解决(will be doing)，一段时间或则同时时刻 有多少事要做 注释：并行是解决并发的一种手段 demo: 　　并行：高速双向４车道，可以肩并肩同时行驶８辆车(解决了８辆车同时运行的事)，他们在自己的车道上互不影响　　 　　并发：火车站春运与平时对比，平时人少(并发量就比较小)，春运人很多(并发量就很大)，乘客要乘车，客运站要解决乘车的问题(有多少乘客乘车要解决，就是有多少问题需要解决) 并行的实现方法： 　　１：python 提供的标准库threading, multiprosessing 　　２：第三方celery的异步任务 并发的解决方案： 　　注释:解决高并发没有一种模板化套路就能解决的,所有的高并发解决都是结合实际业务多种方法的综合版 　　１: 队列(缓冲区) 　Ｑueue:队列、LifoQueue:先进先出队列、PriorityQueue:优先级队列 　　　　注释:队列天然的就形成了一个缓冲地带,就是缓冲区.队列也是程序中的生产者消费者模型 　　2: 争抢 谁先占用cpu谁先执行,其他的等待,多核CPU需要解决资源竞争的问题 　　　　注释:解决资源竞争要使用

前言 　　并发、并行。同步、异步、互斥、多线程。我太难了。被这些词搞懵了。前面我们在写.Net基础系列的时候写过了关于.Net的异步编程。那么其他的都是些什么东西呀。今天我们首先就来解决这个问题。把这些词搞懂搞透。理清逻辑。然后最后我们进入并行编程的介绍。 概念初识 首先我们看并发和并行： 并发：并发指的是在操作系统中，一个是时间段内有多个程序在运行，但是呢。这几个程序都运行在同一个处理机上，并且任意时间点都是一个程序运行在处理机上。 并行：并行指的是在操作系统中，一个时间段内有多个程序在运行，但是呢。这几个程序分别运行在不同的处理机上。也就是说这些程序是一起运行的。 简单理解也就是 并发就像三个包子给一个人吃，一口吃一个包子。并行就是三个包子给三个人吃，三个人一口分别吃三个包子。 然后我们看看异步与多线程概念： 刚刚我们讲到并发的理解概念，其中并发包含两种关系-同步和互斥。同步和互斥我们都是相对于临界资源来谈的。 互斥：进程间相互排斥使用临界资源的现象就叫互斥。就好比进程A在访问List集合的时候，进程B也想访问，但是A在访问。B就阻塞等待A访问完成之后才去访问。 同步：进程间的关系不是临界资源的相互排斥，而是相互依赖。例如进程B需要读取一个集合结果，但是这个集合结果需要进程A返回，当进程A没有返回集合结果时，进程B就会因为没有获得信息而阻塞。当进程A返回信息

今天也是第九天了好快呀！ 今天也是九点到十点半看浏览器工作原理： 三个大的进化路线，希望能让你了解目前的 Web 应用到底能做什么，以及未来能适用于那些新领域知道浏览器是如何工作的就可以知道怎么去优化我们的界面 让我们的服务渲染更加的好 Chrome 启动了 4 个进程，你也许会好奇，只是打开了 1 个页面，为什么要启动这么多进程呢？ 进程和线程 什么是并行处理 计算机中的并行处理就是同一时刻处理多个任务，比如我们要计算下面这三个表达式的值，并显示出结果 多线程可以并行处理任务，但是线程是不能单独存在的，它是由进程来启动和管理的。那什么又是进程呢？ 来源： https://www.cnblogs.com/Py-king/p/11769742.html

说一说activiti中的排他网关和并行网关 activiti工作流中我们经常用到的网关有两种： 1. Exclusive Gateway 排他网关 排他网关.png 排他网关（也叫异或（XOR）网关，或更技术性的叫法 基于数据的排他网关）， 用来在流程中实现决策。 当流程执行到这个网关，所有外出顺序流都会被处理一遍。 其中条件 解析为true的顺序流（或者没有设置条件，概念上在顺序流上定义了一个‘true‘） 会被选 中，让流程继续运行。 注意这里的外出顺序流 与 BPMN 2.0 通常的概念是不同的。通常情况下，所有条件结果> 为true的顺序流 都会被选中，以并行方式执行，但排他网关只会选择一条顺序流执行。 就是说，虽然多个顺序流的条件结果为true， 那么XML中的第一个顺序流（也只有这一 条）会被选中，并用来继续运行流程。 如果没有选中任何顺序流，会抛出一个异常 排他网关定义非常直接，在xml里面就一句 排他网关示意图.png 上图是使用activiti modeler在线设计时候的截图 排他网关有点像java里面 if ... else if ... 每一个分支线上都要指定一个条件，可以有多条分支线，分支线的的变量需要在网关之前就设置到流程变量中。 ** 举个栗子，可以在我上面图里面usertask这个节点添加一个执行监听器 ** 添加执行监听器.png 添加执行监听器

并行: 并行是指两者同时执行，比如赛跑，两个人都在不停的往前跑；（资源够用，比如三个线程，四核的CPU ） 并发: 并发是指资源有限的情况下，两者交替轮流使用资源，比如一段路(单核CPU资源)同时只能过一个人，A走一段后，让给B，B用完继续给A ，交替使用，目的是提高效率。 并行是从微观上，也就是在一个精确的时间片刻，有不同的程序在执行，这就要求必须有多个处理器。 并发是从宏观上，在一个时间段上可以看出是同时执行的，比如一个服务器同时处理多个session。 来源：博客园 作者： RandySun 链接：https://www.cnblogs.com/randysun/p/11517319.html