并行处理

1、并发的含义 并发和并行的区别如下： 并发：逻辑上具备同时处理多个任务的能力。 并行：物理上在同一时刻执行多个并发任务。 我们通常会说程序是并发设计的，也就是说它允许多个任务同时执行，但实际上并不一定真在同一时刻发生。在单核处理器上，它们能以间隔方式切换执行。而并行则依赖多核处理器等物理设备，让多个任务真正在同一时刻执行，它代表了当前程序运行状态。简单点说，并行是并发设计的理想执行模式。 多线程或多进程是并行的基本条件，但单线程也可用协程做到并发。 来源： https://blog.csdn.net/wymyimeng/article/details/101263492

1.Spark的分布式计算如何实现？ 2.Spark MLlib如何并行训练？ 3.Spark MLlib并行训练的局限性有哪些？ 这里是 王喆的机器学习笔记 的第二十五篇文章。接下来的几篇文章希望与大家一同讨论一下机器学习模型的分布式训练的问题。这个问题在推荐、广告、搜索领域尤为突出，因为在互联网场景下，动辄TB甚至PB级的数据量，几乎不可能利用单点完成机器学习模型的训练，分布式机器学习训练成为唯一的选择。 在笔者看来，分布式机器学习训练有三个主要的方案，分别是 Spark MLlib，Parameter Server 和 TensorFlow ，倒不是说他们是唯三可供选择的平台，而是因为他们分别代表着三种主流的解决分布式训练方法。 今天我们先从Spark MLlib说起，看看最流行的大数据计算平台是如何处理机器学习模型的并行训练问题的。 说起Spark，我想不会有任何算法工程师是陌生的。作为流行了至少五年的大数据项目，虽然受到了诸如Flink等后起之秀的挑战，但其仍是当之无愧的业界最主流的计算平台。而且为了照顾数据处理和模型训练平台的一致性，也有大量公司采用Spark原生的机器学习平台MLlib进行模型训练。选择Spark MLlib作为机器学习分布式训练平台的第一站，不仅因为Spark是流行的，更是因为Spark MLlib的并行训练方法代表着一种朴素的，直观的解决方案。

进程的并行和并发 一、进程的并行和并发 并行：并行是指两者同时执行，比如赛跑，两个人都在不停的往前跑；(资源够用，比如三个线程，四核的CPU) 并发：并发是指资源有限的情况下，两者交替轮流使用资源，比如一段路(单核CPU资源)同时只能过一个人，A走一段后，让给B，B用完继续给A，交替使用，目的是提高效率。 二、并行和并发的区别 并行：是从微观上，也就是在一个精确的时间片刻，有不同的程序在执行，这就要求必须有多个处理器。 并发：是从宏观上，在一个时间段上可以看出是同时执行的，比如一个服务器同时处理多个session。 来源： https://www.cnblogs.com/Lin2396/p/11568278.html

CASE1. 程序中 start new task ,并在后面获取处理结果 *"---------------------------------------------------------------------- *"*"本地接口： *" IMPORTING *" VALUE(IS_NAST) TYPE NAST *" EXPORTING *" VALUE(CV_SUBRC) TYPE SY-SUBRC *"---------------------------------------------------------------------- DATA:IV_FUNCNAME TYPE RS38L_FNAM. DATA et_return TYPE TABLE OF bapiret2. DATA et_pro_stru TYPE TABLE OF zif_pro_structure. DATA lt_bapiret2 TYPE TABLE OF bapiret2. CALL FUNCTION 'ZIF_FUNC_CALL' STARTING NEW TASK is_nast-objky PERFORMING frm_function_recevie_data ON END OF TASK EXPORTING iv_funcname = lv_funcname iv

《C语言高级专题第9部分-4.9.链表&状态机与多线程》 第一部分、章节目录 4.9.1.链表的引入 4.9.2.单链表的实现 4.9.3.单链表的算法之插入节点 4.9.4.单链表的算法之插入节点续 4.9.5.从链表头部插入新节点 4.9.6.单链表的算法之遍历节点 4.9.7.单链表的算法之删除节点 4.9.8.单链表的算法之逆序 4.9.9.双链表的引入和基本实现 4.9.10.双链表的算法之插入节点 4.9.11.双链表的算法之遍历节点 4.9.12.双链表的算法之删除节点 4.9.13.linux内核链表 4.9.14.内核链表的基本算法和使用简介 4.9.15.什么是状态机 4.9.16.C语言实现简单的状态机 4.9.17.多线程简介 第二部分、章节介绍 4.9.1.链表的引入 本节从数组的缺陷说起引入链表的概念，目的是让大家自然认识到链表的意义和用途。 4.9.2.单链表的实现 本节介绍单链表的思路和编程实现，重点是链表节点的封装和实现。 4.9.3.单链表的算法之插入节点 本节讲述单链表操作的第一个算法，节点插入。主要介绍了头部插入和尾部插入这两种不同算法。 4.9.4.单链表的算法之插入节点续 本节为链表尾部插入的编程实践，带大家写代码实现从尾部插入节点。 4.9.5.从链表头部插入新节点 本节为链表头部插入的编程实践，带大家写代码实现从头部插入节点。 4.9

Java8中提供了Stream对集合操作作出了极大的简化，学习了Stream之后，我们以后不用使用for循环就能对集合作出很好的操作。 一、流的初始化与转换： Java中的Stream的所有操作都是针对流的，所以，使用Stream必须要得到Stream对象： 1、初始化一个流： Stream stream = Stream.of("a", "b", "c"); 2、数组转换为一个流： String [] strArray = new String[] {"a", "b", "c"}; stream = Stream.of(strArray); 或者 stream = Arrays.stream(strArray); 3、集合对象转换为一个流（Collections）： List<String> list = Arrays.asList(strArray); stream = list.stream(); 二、流的操作： 流的操作可以归结为几种： 1、遍历操作(map)： 使用map操作可以遍历集合中的每个对象，并对其进行操作，map之后，用.collect(Collectors.toList())会得到操作后的集合。 1.1、遍历转换为大写： List<String> output = wordList.stream(). map(String::toUpperCase).

一、进程的并发和并行 并行: 并行是指两者同时执行，比如赛跑，两个人都在不停的往前跑；（资源够用，比如三个线程，四核的CPU ） 并发: 并发是指资源有限的情况下，两者交替轮流使用资源，比如一段路(单核CPU资源)同时只能过一个人，A走一段后，让给B，B用完继续给A ，交替使用，目的是提高效率。 二、并行和并发的区别 并行是从微观上，也就是在一个精确的时间片刻，有不同的程序在执行，这就要求必须有多个处理器。 并发是从宏观上，在一个时间段上可以看出是同时执行的，比如一个服务器同时处理多个session。 来源： https://www.cnblogs.com/SkyOceanchen/p/11537572.html

MapReduce工作机制详解 文章目录 MapReduce工作机制详解 MapTask 工作机制 简单概述： 详细步骤： ReduceTask 工作机制 简单概述： 详细步骤： Shuffle 机制 MapReduce 并行度机制 FileInputFormat 切片机制 Reducetask 并行度机制 Task 并行度经验之谈 MapTask 工作机制 简单概述： input File 通过 split 被逻辑切分为多个 split 文件，通过 Record 按行读取内容给 map（用户自己实现的）进行处理，数据被 map 处理结束之后交给 OutputCollector 收集器，对其结果 key 进行分区（默认使用 hash 分区），然后写入 buffer，每个 map task 都有一个内存缓冲区，存储着 map 的输出结果，当缓冲区快满的时候需要将缓冲区的数据以一个临时文件的方式存放到磁盘，当整个 map task 结束后再对磁盘中这个 map task 产生的所有临时文件做合并，生成最终的正式输出文件，然后等待reduce task 来拉数据。 详细步骤： 首先，读取数据组件 InputFormat（默认 TextInputFormat）会通过 getSplits 方法对输入目录中文件进行 逻辑切片规划 得到 splits，有多少个 split 就对应启动多少个

1、CPU时间分片、多线程？ 如果 线程数不多于CPU核心数 ，会把各个线程都分配一个核心， 不需分片 ，而当线程数多于CPU核心数时才会分片。 2、并发和并行的区别 并发 ：当有多个线程在操作时,如果系统只有一个CPU,把CPU运行时间划分成若干个 时间片 ,分配给各个线程执行，在一个时间段的线程代码运行时，其它线程处于挂起状态。这种方式我们称之为并发(Concurrent)。 并发=间隔发生 并行 ：当系统有一个以上CPU时,则线程的操作有可能非并发。当一个CPU执行一个线程时，另一个CPU可以执行另一个线程，两个线程互不抢占CPU资源，可以同时进行，这种方式我们称之为并行(Parallel)。 并行=同时进行 区别：并行是指两个或者多个事件在同一时刻发生；而并发是指两个或多个事件在同一时间间隔内发生。 并行 是 同时做多件事情 。 并发 表示 同时发生了多件事情 ，通过 时间片切换 ，哪怕只有单一的核心，也可以实现“同时做多件事情”这个效果。 根据底层是否有 多处理器 ， 并发与并行是可以等效 的，这并不是两个互斥的概念。 举个我们开发中会遇到的例子，我们说资源请求并发数达到了1万。这里的意思是有 1万个请求 同时过来了。但是这里很明显不可能真正的同时去处理这1万个请求的吧！ 如果这台机器的处理器有 4个核心 ，不考虑超线程，那么我们认为同时会有4个线程在跑。也就是说，

很多年前，上操作系统课的时候，老师告诉我们“并行是指同一时刻同时做多件事情，而并发是指同一时间间隔内做多件事情”。这里的差别初看确实简单明了，不过较真的我表示不同意。老师们说的话，貌似并不严谨。时刻是指时间轴上的一个点，一个瞬间，这是个不可再分的量。如果在时间这个维度上没有增量，何来“做事”一说！也就是说，老师们口中的“时刻”与时间间隔（时间段）其实是等价的。那老师们说的那个“区别”有什么区别吗？多年过去，今天偶然又讨论起这个话题。。。 正是因为当初老师给同学们灌输了这种模棱两可的概念，所以每次提起这个话题的时候，总是免不了要有一番口水仗。关于这个问题，我在不同的场合与不同的小伙伴争论过无数次了，厌烦了。所以，今天我想把我自己理解的概念写下来，终结关于这个话题的争论。 首先，我们来看看前辈的看法： Concurrency is when two tasks can start, run, and complete in overlapping time periods. Parallelism is when tasks literally run at the same time, eg. on a multi-core processor. Concurrency is the composition of independently executing processes,