并行度(parallelism)

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1 storm并行的基本概念 一个运行中的拓扑是由什么构成的：工作进程（worker processes），执行器（executors）和任务（tasks） 在一个 Storm 集群中，Storm 主要通过以下三个部件来运行拓扑： 工作进程（worker processes）（进程数） 执行器（executors）（线程数） 任务（tasks）（实例组件数） storm集群中的一个机器可以运行一个或者多个worker,对应于一个或者多个topologies.1个worker进程运行1个或多个excutor线程。每个worker从属于一个topology.executor是单线程。每1个executor运行着相同的组件(spout或bolt)的1个或多个task。1个task执行着实际的数据处理。 下面是他们之间相互关系的简单图示。 2 是否需要提高workers数目 (1) 最好 一台机器上的一个topology只使用一个worker,主要原因时减少了worker之间的数据传输 (2) 有更多的worker可能会有更好的表现，这取决于你的瓶颈所在。每个worker都有通过一个线程将元组转移到其他的worker，所以如果你的瓶颈在CPU和每个worker正在处理大量的元组，更多的worker可能会提高你的吞吐量。