并行处理

一 基本概念： 并发： 同时处理多件事情，在处理第一个请求时同时响应第二个请求； 同步： 同步就是顺序执行，执行完一个再执行下一个，需要等待、协调运行， 同步 调用在继续之前等待响应或返回值。如果不允许调用继续，就说调用被 阻塞 了 异步： 并发的一种形式，（1）它采用回调机制，避免产生不必要的线程。（2）多线程也可以成为实现程序异步的一种方式，在这里 异步和多线程并不是一个同等关系,异步是最终目的,多线程只是我们实现异步的一种手段（这违反了异步操作的本质） 多线程 ：并发的另一种形式，它采用多个线程来执行程序。对多个线程的管理使用了线程池。 并行处理： 把正在执行的大量任务，分割成小块分配个多个运行的线程，线程池是存放任务的队列，这个队列能根据需要自行调整。由此产生了并行处理这个概念，多线程的一种，而多线程是并发的一种 二 多线程和异步对比： 多线程和异步操作两者都可以达到避免调用线程阻塞的目的，从而提高软件的可响应性 线程的本质： 线程不是一个计算机硬件的功能，而是操作系统提供的一种逻辑功能，线程本质上是进程中一段并发运行的代码，所以线程需要操作系统投入CPU资源来运行和调度 异步操作的本质： 所有的程序最终都会由计算机硬件来执行，所以为了更好的理解异步操作的本质，我们有必要了解一下它的硬件基础。 熟悉电脑硬件的朋友肯定对DMA这个词不陌生，硬盘

上文 讲解了.NET中的采用Task可以实现任务的并行。除了任务的并行之外，还有数据的并行。和任务的并行不同，数据的并行是指并行的源头不是算法的代码，而是算法操作的数据的本身，TPL ( Task Parallel Library )中提供了几个数据并行的API. 一 数据的并行 1.1 Parallel.For 和Parallel.ForEach for 和foreach语句也适合进行并行化。实际上，随着并行计算的流行，对这种循环遍历进行并行化也有过很多种尝试。这些方法包括对在编程语言进行扩充等，比如C++里面的 OpenMP 标准。C#并行类库(Task Parallel Library, TPL)通过提供一些API实现了数据并行化功能，这就是Parallel.For和Parallel.ForEach方法，分别对应平常用到的for和foreach。 回到 上文 中的遍历数组查找素数的方法中，当时我们是这样写的。 for (int number = start; number < end; ++number) { if (IsPrime(number)) { primes.Add(number); } } 将上面的代码转换成并行遍历如下： Parallel.For(start, end, number => { if (IsPrime(number)) { lock

原文地址： http://www.cnblogs.com/yangecnu/p/3164167.html#undefined 一、引言 前天在 GitHub 上看到一幅图，问如何向五岁的小孩讲解并发和并行。然后有人以这幅图做答： 这幅图有点儿意思，用咖啡机的比喻来形容并发和并行，从中最直接的体会是，并发是有状态的，某一线程同时执行一个任务，完了才能进行到下一个，而并行是无状态的。 近些年，计算机的处理能力成指数能力增长。处理能力也越来越快，以前的一些工作站现在都可以移植到笔记本电脑或者手持设备上。但是近几年，由于处理器的处理速度已经达到了极限，所以处理器开始向多核方向发展，而提高程序性能的一个最简单的方式之一就是充分利用多核处理器的计算资源。但要编写利用多核处理器处理的程序并不那么简单。所以一些函数是编程语言，如F#，Scala，Erlang等又开始流行起来，因为他们带来的不可变性，递归思想等在一定程度上简化了并行和并发编程。 本文和下文从任务并行和数据并行两个方面，简要讨论一下.NET中的并行编程。这篇文章不可能讲完所有的API，框架，工具或者设计模式。对着方面感兴趣的同学可以看看专门的书籍如Concurrent Programming on Windows 、Concurrency and Parallelism in .NET， 这些书专门讲解了.NET中的并发和并行编程

转自：http://blog.sina.com.cn/s/blog_74be444c0100vnwb.html 并行 计算机操作系统中的并行，指的是同时存在于内存中的 多道作业都处于运行状态 。实际上都是 宏观上并行 ， 微观上串行 ，因为这些作业都是开始各自的运行，但都没运行完毕，只是 交替地使用cpu 。 在操作系统中是指，一组程序按独立异步的速度执行，不等于时间上的重叠(同一个时刻发生)。要区别并发。并发是指:在同一个时间段内，两个或多个程序执行，有时间上的重叠(宏观上是同时,微观上仍是顺序执行)。 并行也指8位数据同时通过并行线进行传送 ，这样数据传送速度大大提高，但并行传送的线路长度受到限制，因为长度增加，干扰就会增加，数据也就容易出错。 并发 在 操作系统 中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个 处理机 上运行，但 任一个时刻点上只有一个程序在处理机上运行 。 　　在关系数据库中，允许多个用户同时访问和更改共享数据的进程。SQL Server 使用锁定以允许多个用户同时访问和更改共享数据而彼此之间不发生冲突。 　　操作系统并发程序执行的特点: 　　并发环境下，由于程序的封闭性被打破，出现了新的特点： 　　①程序与计算不再一一对应，一个程序副本可以有多个计算 　　②并发程序之间有相互制约关系

并行 计算机操作系统中的并行，指的是同时存在于内存中的多道作业都处于运行状态。实际上都是宏观上并行，微观上串行，因为这些作业都是开始各自的运行，但都没运行完毕，只是交替地使用cpu。 在操作系统中是指，一组程序按独立异步的速度执行，不等于时间上的重叠(同一个时刻发生)。要区别并发。并发是指:在同一个时间段内，两个或多个程序执行，有时间上的重叠(宏观上是同时,微观上仍是顺序执行)。并行也指8位数据同时通过并行线进行传送，这样数据传送速度大大提高，但并行传送的线路长度受到限制，因为长度增加，干扰就会增加，数据也就容易出错。 并发 在 操作系统 中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个 处理机 上运行，但任一个时刻点上只有一个程序在处理机上运行。 　　在关系数据库中，允许多个用户同时访问和更改共享数据的进程。SQL Server 使用锁定以允许多个用户同时访问和更改共享数据而彼此之间不发生冲突。 　　操作系统并发程序执行的特点: 　　并发环境下，由于程序的封闭性被打破，出现了新的特点： 　　①程序与计算不再一一对应，一个程序副本可以有多个计算 　　②并发程序之间有相互制约关系，直接制约体现为一个程序需要另一个程序的计算结果，间接制约体现为多个程序竞争某一资源，如处理机、 缓冲区 等。 　　③并发程序在执行中是走走停停，断续推进的。

并行 计算机操作系统中的并行，指的是同时存在于内存中的 多道作业都处于运行状态 。实际上都是 宏观上并行 ， 微观上串行 ，因为这些作业都是开始各自的运行，但都没运行完毕，只是 交替地使用cpu 。 在操作系统中是指，一组程序按独立异步的速度执行，不等于时间上的重叠(同一个时刻发生)。要区别并发。并发是指:在同一个时间段内，两个或多个程序执行，有时间上的重叠(宏观上是同时,微观上仍是顺序执行)。 并行也指8位数据同时通过并行线进行传送 ，这样数据传送速度大大提高，但并行传送的线路长度受到限制，因为长度增加，干扰就会增加，数据也就容易出错。 并发 在 操作系统 中，是指一个时间段中有几个程序都处于已启动运行到运行完毕之间，且这几个程序都是在同一个 处理机 上运行，但 任一个时刻点上只有一个程序在处理机上运行 。 　　在关系数据库中，允许多个用户同时访问和更改共享数据的进程。SQL Server 使用锁定以允许多个用户同时访问和更改共享数据而彼此之间不发生冲突。 　　操作系统并发程序执行的特点: 　　并发环境下，由于程序的封闭性被打破，出现了新的特点： 　　①程序与计算不再一一对应，一个程序副本可以有多个计算 　　②并发程序之间有相互制约关系，直接制约体现为一个程序需要另一个程序的计算结果，间接制约体现为多个程序竞争某一资源，如处理机、 缓冲区 等。 　　③并发程序在执行中是走走停停

1.CPU的发展趋势： 核心数目依旧会越来越多，根据摩尔定律，由于单个核心性能提升有着严重的瓶颈问题，普通的PC桌面在2018年可能回到24核心。 2.并发和并行的区别： 所有的并发处理都有排队等候，唤醒和执行这三个步骤，所以并发是宏观的观念，在微观上他们都是序列被处理的，只不过资源不会在某一个上被阻塞（一般是通过时间片轮转），所以在 宏观 上多个几乎同时到达的请求同时在被处理。如果是同一时刻到达的请求也会根据优先级的不同，先后进入队列排队等候执行。 并发与并行是两个既相似但是却不相同的概念： 并发性：又称共行性，是指处理多个同时性活动的能力，。 并行：指同时发生两个并发事件，具有并发的含义。并发不一定并行，也可以说并发事件之间不一定要同一时刻发生。 并发的实质是一个物理CPU（也可以是多个物理CPU）在若干个程序之间多路复用，并发性是对有限物理资源强制行使 多用户共享以提高效率。 并行指两个或两个以上事件或活动在同一时刻发生，在多道程序环境下，并行使多个程序同一时刻 可在不同CPU上同时执行 。 并发是在同一个cpu上同时（不是真正的同时，而是看来是同时，因为CPU要在多个程序之间切换）运行多个程序。 并行是每一个CPU运行一个程序。 并发是指一个处理器同时处理多个任务。 并行是指多个处理器或者是多核的处理器同时处理多个不同的任务。 并发是逻辑上的同时发生

　　很多人不是特别明白并发编程和并行编程的区别所在，有很多人很容易搞混淆，觉得二者近似相等，本文将用几个浅显易懂的例子，来说明一下什么是并发和并行。 1、任务与多任务 关于什么是进程，什么是线程，这里不打算多说，关于每一种开发语言的多线程处理技术语法上有所区别，原理很多类似，可以查阅相关的参考书。什么是任务呢？其实很简单，在我们生活中，比如我今天要学一首歌，要在操场上散步1000米，然后还要向老师电话汇报研究成果，这是今天的三个任务。在编程语言中，实现某一个任务的一般单元就是“函数”。 2、顺序执行 上面三个任务，如果在一般的单线程执行的程序里面，分别定义三个函数，然后依次顺序执行，即执行完第一个在执行第二个，然后执行第三个，即我先把一首歌学会，然后在操场上散步1000米，然后再给老师汇报，这样做效率低下。 　　我们可以有一个更加高效的办事方法，我在散步的时候，顺便打电话给老说汇报一下今天的成果，然后边散步边听歌，便跟着学，这样效果就高很多，这里的是“并行执行”。 3、并发和并行的一些理解——concurrency and parallellism 并发和并行都是完成多任务更加有效率的方式，但还是有一些区别的，并发（concurrency），并行（parallellism），可见他们的确是有区别的。下面通过一些具体的例子进行说明。 　　例子一： 　　假设一个有三个学生需要辅导作业

OK，如果你还在为并发（concurrency）和并行（parallelism）这两个词的区别而感到困扰，那么这篇文章就是写给你看的。搞这种词语辨析到底有什么意义？其实没什么意义，但是有太多人在混用错用这两个词（比如遇到的某门课的老师）。不论中文圈还是英文圈，即使已经有数不清的文章在讨论并行vs并发，却极少有能讲清楚的。让一个讲不清楚的人来解释，比不解释更可怕。比如我随便找了个网上的解释： 前者是逻辑上的同时发生（simultaneous），而后者是物理上的同时发生． 并发性(concurrency)，又称共行性，是指能处理多个同时性活动的能力，并发事件之间不一定要同一时刻发生。 并行(parallelism)是指同时发生的两个并发事件，具有并发的含义，而并发则不一定并行。 来个比喻：并发和并行的区别就是一个人同时吃三个馒头和三个人同时吃三个馒头。 看了之后，你懂了么？不懂，更晕了。写出这类解释的人，自己也是一知半解，却又把自己脑子里模糊的影像拿出来写成文章，让读者阅毕反而更加疑惑。当然也有可能他确实懂了，但是写出这种文字也不能算负责。至于本文，请相信，一定是准确的，我也尽量做到讲解清晰。 OK，下面进入正题， concurrency vs parallelism 让我们大声朗读下面这句话： “并发”指的是程序的结构，“并行”指的是程序运行时的状态 即使不看详细解释，也请记住这句话

很多人不是特别明白并发编程和并行编程的区别所在，有很多人很容易搞混淆，觉得二者近似相等，本文将用几个浅显易懂的例子，来说明一下什么是并发和并行。 1、任务与多任务 关于什么是进程，什么是线程，这里不打算多说，关于每一种开发语言的多线程处理技术语法上有所区别，原理很多类似，可以查阅相关的参考书。什么是任务呢？其实很简单，在我们生活中，比如我今天要学一首歌，要在操场上散步1000米，然后还要向老师电话汇报研究成果，这是今天的三个任务。在编程语言中，实现某一个任务的一般单元就是“函数”。 2、顺序执行 上面三个任务，如果在一般的单线程执行的程序里面，分别定义三个函数，然后依次顺序执行，即执行完第一个在执行第二个，然后执行第三个，即我先把一首歌学会，然后在操场上散步1000米，然后再给老师汇报，这样做效率低下。我们可以有一个更加高效的办事方法，我在散步的时候，顺便打电话给老说汇报一下今天的成果，然后边散步边听歌，便跟着学，这样效果就高很多，这里的是“并行执行”。 3、并发和并行的一些理解——concurrency and parallellism 并发和并行都是完成多任务更加有效率的方式，但还是有一些区别的，并发（concurrency）,并行（parallellism）,可见他们的确是有区别的。下面通过一些具体的例子进行说明。 例子一： 假设一个有三个学生需要辅导作业