ZooKeeper

集群 启动/停止Hadoop集群：start-all.sh stop-all.sh 1) 启动NameNode, DataNode 2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步 3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover Controller 4) 启动YARN守护进程ResourceManager, NodeManager 启动/停止HDFS集群：start-dfs.sh stop-dfs.sh 1) 启动NameNode, DataNode 2) 启动JournalNode, JournalNode在hdfs-site.xml中指定edits log存储的位置，主备NameNode共享数据，方便同步 3) 启动DFSZKFailoverController, HA会启用ZooKeeper Failover Controller 启动/停止YARN集群：start-yarn.sh stop-yarn.sh 据说如果ResourceManager和NameNode不在同一台机器上，那NameNode上无法直接使用start-yarn.sh启动ResourceManager，但NodeManager可以启动

Java技术栈 www.javastack.cn 优秀的Java技术公众号 想往高处走，怎么能不懂 Dubbo？ Dubbo是国内最出名的分布式服务框架，也是 Java 程序员必备的必会的框架之一。Dubbo 更是中高级面试过程中经常会问的技术，无论你是否用过，你都必须熟悉。 下面我为大家准备了一些 Dubbo 常见的的面试题，一些是我经常问别人的，一些是我过去面试遇到的一些问题，总结给大家，希望对大家能有所帮助。 1、Dubbo是什么？ Dubbo是阿里巴巴开源的基于 Java 的高性能 RPC 分布式服务框架，现已成为 Apache 基金会孵化项目。 面试官问你如果这个都不清楚，那下面的就没必要问了。 官网：http://dubbo.apache.org 2、为什么要用Dubbo？ 因为是阿里开源项目，国内很多互联网公司都在用，已经经过很多线上考验。内部使用了 Netty、Zookeeper，保证了高性能高可用性。 使用 Dubbo 可以将核心业务抽取出来，作为独立的服务，逐渐形成稳定的服务中心，可用于提高业务复用灵活扩展，使前端应用能更快速的响应多变的市场需求。 下面这张图可以很清楚的诠释，最重要的一点是，分布式架构可以承受更大规模的并发流量。 下面是 Dubbo 的服务治理图。 3、Dubbo 和 Spring Cloud 有什么区别？ 两个没关联，如果硬要说区别

本文源自小乐同学投稿，针对一年工作做个回顾，由一个程序员变成项目负责人，之间的转变值得体味，是不是有种似曾相识的感觉？ 时光荏苒，光阴似箭，不知不觉在技术部渡过了一年的时光。俗话说，总结过去，展望未来，有总结才有进步。回顾2017工作中的点点滴滴，有快乐的时光，有苦逼的加班，也有无助的迷茫，当然也少不了收获。不管怎样，我始终信奉：有付出才有回报。 工作清单 1月至3月，主要是参与A项目的后台开发，涉及资料模块，组织架构模块，报表模块及人脸识别接口验证的开发。 4月至5月，工作调整到A项目风控模块的独立，参与zookeeper+dubbo的部署及调试，抽离模块代码独立部署应用，系统交互通过dubbo调用。 6月至今，负责参与B项目后台、APP、微信等渠道的开发。 项目总结 5月有幸成为B项目的项目负责人和团队一起带领项目往前跑。实话说，我是第一次严格意义上的带项目，内心比较忐忑，当然也很期待。任何事都有第一次，想着既然把活接了，就认真的干。 接下来主要说说B项目项目的大致情况，主要以项目的进度描述各个阶段的状况及对这方面的总结与反思。 第一阶段：第一版本开发 app是原生与H5混合开发模式。第一版需求大家干劲十足加班加点终于6月底如期上线。但上线后app因混合模式问题比较多，所有没有对外发布，只是内部测试使用。紧接着开发第二个版本，开发过程中，公司负责人体验产品

2020年度程序员洞察报告就出炉了 ： 程序员平均年薪为20.36万元 。学历水平与工资水平成正比，同时值得注意的是，即使是 大专学历群体的平均工资，也达到了16.13万之多 。 （来自猎聘） 企业热招程序员职能TOP15中， 需求占比最大的职能是Java ，占比为17.82%。 （来自猎聘） 而其中有个职位更是稳得一批—— 架构师的薪资最高达60000元 ， 依旧稳居Java 所有职能的第二 。根据全国各大高校数据显示，2021年将新增超20万程序员，而阿里腾讯京东美团字节等大厂都在大肆招人，互联网不缺程序员，缺的是高级的精尖程序员。 如果你是一名架构师 如何检验自己是否是个够格的架构师？一年一度的双十一，就是现成的考题。 高并发场景秒杀下单超卖Bug、利用Redis集群架构抗住双十一大流量洪峰 等等，都是必备技能。 每个开发人员成为高级开发、架构师的必经之路是什么呢？打开招聘网站看看大牛的必备技能， 从Redis、Zookeeper，JVM、Spring、RocketMQ，再到高并发场景下框架的运用、秒杀系统的优化实战，都是高薪技能点 ，因为企业需要你有，你有了就是大大的加分项。何况这些都是来年金三银四必问的面试考点。 涉及过，但并不深入？ 很多程序员觉得能够吃透两套架构就能躺赢了，但是实际项目中，会遇到很多问题，需要更多的技能点来支撑，却因为对这些技术点不够了解

strom简介 官方网址： http://storm.apache.org/ 是一个免费，开源的分布式实时计算系统，使用它可以轻松实现数据流的实时处理，Strom很简单，可以用任何编程语言 storm用例：实时在线分析 机器学习，连续计算，分布式RPC，ETL等。 Strom的特点：快速：基准时钟在超过一百万元组（可以理解为数据包）每秒处理的每个节点 简单的设置：有可扩展性，容错性，保证了数据的处理能力，并且易于设置和操作 storm实时流式计算系统 storm集群与hadoop集群（MapReduce）对比 MapReduce是批处理流程 //hadoop处理海量历史任务，不能做到实时 storm没有缓冲区原数据源源不断的进入处理系统，这是流处理 //实时流计算，一直运行直到停止。 Topology（拓扑）与 Mapreduce 一个关键的区别是： 一个MapReduce job 最终会结束， 而一个topology 永远会运行（除非你手动kill 掉） Nimbus（作业控制和资源管理 master进程） 与ResourManager 在Storm 的集群里面有两种节点： 控制节点（master node）和工作节点（worker node）。控制节点上面运行一个叫Nimbus 后台程序，它的作用类似Hadoop 里面的JobTracker /

zookeeper（下文简写为zk）大家都不陌生。但是，看到很多同学对zookeeper的理解过于程式化，有些地方甚至需要背，是大可不必的。把本质理解了，概念性和功能介绍都可以推出来的，而且架构要活学活用，透过现象看本质，才能对技术和技术领悟有大的提升。下面来看下zk的功能及本质。 zookeeper的定义及用途 我们先了解官方的定义。 Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed coordination. Apache ZooKeeper 是一个致力于开发和维护开源服务器，该服务器实现高可用的分布式协调框架。 ZooKeeper is a high-performance coordination service for distributed applications. It exposes common services - such as naming, configuration management, synchronization, and group services - in a simple interface so you don't have to write them

分布式分为分布式缓存（ Redis ）、分布式锁（Redis 或 Zookeeper）、分布式服务（Dubbo 或 SpringCloud）、分布式服务协调（Zookeeper）、分布式消息队列（Kafka 、RabbitMq）、分布式 Session 、分布式事务、分布式搜索（Elasticsearch）等。不可能所有分布式内容都熟悉，一定要在某个领域有所专长。 分布式理论 问： 分布式 有哪些理论？ CAP 、BASE。分布式 CAP 理论，任何一个分布式系统都无法同时满足 Consistency（一致性）、Availability（可用性）、Partition tolerance（分区容错性） 这三个基本需求。最多只能满足其中两项。而 Partition tolerance（分区容错性） 是必须的，因此一般是 CP ，或者 AP。 问：你怎么理解分布式一致性？ 数据一致性通常指关联数据之间的逻辑关系是否正确和完整。在分布式系统中，数据一致性往往指的是由于数据的复制，不同数据节点中的数据内容是否完整并且相同。 一致性还分为强一致性，弱一致性，还有最终一致性。强一致性就是马上就保持一致。 最终一致性是指经过一段时间后，可以保持一致。 分布式事务 问：你怎么理解分布式事务？分布式事务的协议有哪些？ 分布式事务是指会涉及到操作多个数据库的事务。目的是为了保证分布式系统中的数据一致性

Ingress 英文翻译 进入;进入权;进食 ，更准确的讲就是 入口 ，即外部流量进入 k8s 集群必经之口。这道大门到底有什么作用？我们如何使用 Ingress ？ k8s 又是如何进行服务发现的呢？先看一张图： 原理 虽然 k8s 集群内部署的 pod 、 server 都有自己的 IP ，但是却无法提供外网访问，以前我们可以通过监听 NodePort 的方式暴露服务，但是这种方式并不灵活，生产环境也不建议使用。 Ingresss 是 k8s 集群中的一个 API 资源对象，扮演边缘路由器(edge router)的角色，也可以理解为 集群防火墙 、 集群网关 ，我们可以 自定义路由规则 来转发、管理、暴露服务(一组pod)，非常灵活，生产环境建议使用这种方式。另外 LoadBlancer 也可以暴露服务，不过这种方式需要向云平台申请负债均衡器；虽然目前很多云平台都支持，但是这种方式深度耦合了云平台，所以你懂的。 首先我们来思考用传统的 web 服务器，比如 Nginx ，如何处理这种场景？ Nginx 充当一个反向代理服务器拦截外部请求，读取路由规则配置，转发相应的请求到后端服务。 kubernetes 处理这种场景时，涉及到三个组件 ： 反向代理 web 服务器 负责拦截外部请求，比如 Nginx 、 Apache 、 traefik 等等。我一般以 Deployment

1. kafka 消息中间件或者消息队列 组件： 消息生产者：Producer，它是生产数据的源头，负责生成消息发送到服务器。 消息消费者：Consumer，它是消息的消费方，负责消费kafka的消息。 主题：Topic，是由用户创建的，配置在kafka服务器，用于建立生产者和消费者之间的生产和消费关系。 消息分区：Partition，一个topic下面有多个partition，但是只有一个是主分区，其他是从分区。 Broker：kafka服务器，存储信息。 消费者组：group，用于归类消费者的，多个消费者可以共同消费一个Topic下的消息，每个消费者其中的部分消息，这些消费者就是组成了消费者组，拥有同一个组名。 消费者组可以消费一个或者多个分区的数据，相反，一个分区的数据同一时刻只能被一个消费者来消费。（避免重复消费） offset：偏移量，消费者拉取数据信息的时候需要指定消息在文件中的偏移量。 2. 常用命令 1.新建主题 ./bin/kafka-topics.sh --create --zookeeper 192.168.3.102:2181,192.168.3.103:2181,192.168.3.104:2181 --replication-factor 3 --partitions 3 --topic test1 2. 查看主题 ./bin/kafka-topics

全面上云带来的变化，不仅是上云企业数量上的攀升，也是企业对云的使用方式的转变，越来越多的企业用户不仅将云作为一种弹性资源，更是开始在云上部署架构和应用，借助 Serverless 等技术，开发人员只需聚焦于业务代码，省去了对底层资源的维护，同时底层资源用起来会更节省。 9 月 26 日，在杭州云栖大会 - 企业数字化转型专场的现场，阿里云的架构师、产品经理和客户、合作伙伴全面分享了企业上云的新模式，并发布了简单、丰富、开放和低成本的 PaaS 产品服务集 – Aliware 全家桶。 更高效、更节省的应用托管平台 Web 应用托管上云的利器 阿里云Web应用托管服务（Web+）是一款用来运行并管理 Web 类、移动类和 API 类应用程序的 PaaS 产品。支持 Java、Python、Node.js、PHP、Ruby 和 Go 等多种语言编写并构建应用程序。客户在无需管理底层基础设施的情况下，便可简单、高效、安全而又灵活的对应用进行部署、伸缩、调整和监控。例如，深圳奥哲网络科技有限公司基于 Web 应用托管服务的自动生成环境，无须每次都要手动部署并交付系统给客户。 云上 Serverless 神器 Serverless 应用引擎（简称 SAE ）是阿里云首个基于将 Serverless 架构和微服务架构完美融合的 PaaS 类产品，解决了用户的效率和成本问题