ZooKeeper

不想当将军的兵不是好兵，就程序猿不想当架构师就不是好的程序员！ Java架构师主要需要做哪些工作呢？ 1、负责设计和搭建软件系统架构（平台、数据库、接口和应用架构等），解决开发中各种系统架构问题。 2、优化现有系统的性能，解决软件系统平台关键技术问题攻关、核心功能模块设计、核心代码开发。 3、在项目需求不断细化的工程中校正整体的架构设计，以及详细模块拆分设计。 4、营造技术学习氛围，带领团队不断完善开发开发方法及流程，提升开发效率与质量，加强技术标准及规范。 5、带领团队攻克例如大数据量、高并发、高稳定性等带来的各种挑战及技术难关。 6、责任心强，有团队合作精神，工作认真负责高效并具有一定抗压能力。 7、参与讨论公司产品发展方向，完整的规划和把握产品研发架构。 Java架构师要学习哪些知识呢？ 希望以下的学习路线能对你有帮助 并发编程 JAVA内存模型（JMM） java当中的线程通讯和消息传递 什么是重排序和顺序一致性？Happens-Before？As-If-Serial？ Synchronized的概念和分析 同步、重量级锁以及Synchronized的原理分析 自旋锁、偏向锁、轻量级锁、重量级锁的概念、使用以及如何来优化他们 Volatile和DCL的知识 Volatile的使用场景和Volatile实现机制、内存语义、内存模型 DCL的单例模式，什么是DCL

配置namenode HA高可用 使用cloudera manager方式安装，namenode是单节点方式，需要额外配置成HA。配置NameNode HA的两点前提条件： （1）至少是3个或3个以上奇数个JournalNode，否则将无法继续配置NameNode HA. （2）配置NameNode需要有Zookeeper. 在hdfs - 操作 -选择启用HA 填写nameservice名称，自定义即可： 选择另外一台服务器安装namenode ，三个或5个节点安装journalnode。 配置namenode,journalnode数据目录,如/data1/dfs/nn，/data1/dfs/jn 继续等待命令执行完成，按照向导操作即可 启用HA成功 配置yarn HA高可用 使用管理员用户登录Cloudera Manager的Web管理界面，进入YARN服务 点击“启用High Avaiability”，选择ResourceManager主机 点击“继续”，启用ResourceManager HA 点击“完成”，查看YARN服务实例 可以看到YARN的ResourceManager实例为两个，一个是活动状态，一个是备用状态，至此已完成YARN HA的启用，那么接下来就测试下YARN HA功能的可用性。 Yarn HA功能可用性测试 ResourceManager服务状态

项目结构 dubbo-demo 　　dubbo-api：提供api接口，一般存储实体类和接口服务 　　dubbo-provider：dubbo生产者提供服务，一般存储接口具体实现 　　dubbo-customer：dubbo消费者使用服务，分发请求 一、新建项目dubbo-demo 1、新建Maven项目，File-->new-->Project，选择Maven 2、填充GroupId、ArtifactId和Version 3、一路Next，最后选择项目名称（之前创建过dubbo的项目，这里重命名为dubbo_demo） 4、生成项目，修改pom.xml（不修改也不影响子模块），删除src 二、添加基于SpringBoot的三个子模块dubbo-api、dubbo-provider、dubbo-customer 1、添加子模块dubbo-api，项目右键-->new-->Module 最后生成的dubbo-api 如下： 2、以相同的方式创建dubbo-provider和dubbo-customer如下： 三、各个模块添加代码示例 1、dubbo-api phone（手机实体类）： package com.mirana.api.model; import java.io.Serializable; import java.math.BigDecimal; /** * Title

　 大数据就业 前景如何？现在 学习大数据 已经晚了吗？作为初入社会的大学生，或者想改变环境转行的同学，看到大数据技术开发者的高薪资都想进入这个行业，但是现在大数据技术依然想之前那样火爆吗？是不是学习了大数据技术就可以获得高薪呢？ 　　大数据从最开始的概念兴起，到现在各大互联网公司逐步推广使用。已经逐渐成熟，目前营销、电商、教育领域等等对大数据的应用已经初见效果。大数据也从最开始的概念过渡到实际应用领域。对技术人员的招聘也更加趋于理性。所以并非大数据技术不再火爆，而是企业对于大数据从业人员的要求提高了。 　　根据招聘网站显示，目前大数据工作招聘需求，薪资普遍稳定在15-30K之间。其中目前刚入行的大数据工程师平均薪资在1万左右，而随着工作时间的增加，3~5年经验的大数据工程师的薪资待遇将达到3万元左右。 　　据相关机构统计，未来的3~5内大数据人才的缺口将达到150万，而且随着大数据的发展，人才缺口将不断扩大，所以大数据不管是目前还是未来长期都将是紧缺人才，受到各大互联网企业的关注。 　　如果你想投入大数据的怀抱，但却苦于不知如何下手。而当你准备学习大数据技术时，你可以了解一下博斌去计算大数据课程，主要是针对有一定编程开发经验的学员研发的课程。从大数据基础增强开始，内容精准聚焦大数据开发过程中必备的离线数据分析、实时数据分析和内存数据计算等重要内容

不想当将军的兵不是好兵，就程序猿不想当架构师就不是好的程序员！ Java架构师主要需要做哪些工作呢？ 1、负责设计和搭建软件系统架构（平台、数据库、接口和应用架构等），解决开发中各种系统架构问题。 2、优化现有系统的性能，解决软件系统平台关键技术问题攻关、核心功能模块设计、核心代码开发。 3、在项目需求不断细化的工程中校正整体的架构设计，以及详细模块拆分设计。 4、营造技术学习氛围，带领团队不断完善开发开发方法及流程，提升开发效率与质量，加强技术标准及规范。 5、带领团队攻克例如大数据量、高并发、高稳定性等带来的各种挑战及技术难关。 6、责任心强，有团队合作精神，工作认真负责高效并具有一定抗压能力。 7、参与讨论公司产品发展方向，完整的规划和把握产品研发架构。 Java架构师要学习哪些知识呢？ 希望以下的学习路线能对你有帮助 并发编程 JAVA内存模型（JMM） java当中的线程通讯和消息传递 什么是重排序和顺序一致性？Happens-Before？As-If-Serial？ Synchronized的概念和分析 同步、重量级锁以及Synchronized的原理分析 自旋锁、偏向锁、轻量级锁、重量级锁的概念、使用以及如何来优化他们 Volatile和DCL的知识 Volatile的使用场景和Volatile实现机制、内存语义、内存模型 DCL的单例模式，什么是DCL

1、使用zookeeper API实现分布式锁 DistributedLock.java import java.io.IOException ; import java.util.List ; import java.util.SortedSet ; import java.util.TreeSet ; import java.util.concurrent.CountDownLatch ; import java.util.concurrent.TimeUnit ; import java.util.concurrent.locks.Condition ; import java.util.concurrent.locks.Lock ; import org.apache.zookeeper.CreateMode ; import org.apache.zookeeper.KeeperException ; import org.apache.zookeeper.WatchedEvent ; import org.apache.zookeeper.Watcher ; import org.apache.zookeeper.ZooDefs ; import org.apache.zookeeper.ZooKeeper ; import org.apache.zookeeper

怎样才能拿到大厂的offer，没有掌握绝对的技术，那么就要不断的学习 从疫情破局而出，又在毕业季一路过关斩将，我是如何笑面试官，拿到阿里，腾讯等多家大厂的offer的呢，在这里分享我的秘密武器， 大神整理的Java核心知识点，面试时面试官必问的知识点。 有基础知识、Java集合、JVM、多线程并发、spring原理、微服务、Netty 与RPC 、Kafka、日记、设计模式、Java算法、数据库、Zookeeper、分布式缓存、数据结构等等。 由于面试题比较全面，内容比较多，所以我分享的知识里面可能会有一些疏漏与杂乱，核心知识点都整理好了 下面会介绍这份Java面试宝典的主要内容涵盖的知识点，由于文章篇幅，所以只展示了截图内容，若需要完整pdf版， 帮忙点赞后，私信【性能调优】即可（一定要记得关注我，不然没办法回复陌生人私信） Java基础+集合+多线程+JVM Java基础 Java 基本功 Java 语法 数据类型 方法（函数） Java 面向对象 集合 多线程 文件与I/O流 Java集合 多线程 JVM 计算机基础 计算机网络 数据结构 算法 操作系统 数据库面试题总结 MySQL Redis 常用框架面试题总结 Spring面试题总结 MyBatis面试题总结 Kafka面试题总结 Netty 面试题总结 优质面经 五面阿里,终获offer 蚂蚁金服实习生面经总结

参考文章： CDH常用端口汇总 Hadoop： 50070：HDFS WEB UI端口 8020 ： 高可用的HDFS RPC端口 9000 ： 非高可用的HDFS RPC端口 8088 ： Yarn 的WEB UI 接口 8485 ： JournalNode 的RPC端口 8019 ： ZKFC端口 10020：historyserver端口 Zookeeper: 2181 ： 客户端连接zookeeper的端口 2888 ： zookeeper集群内通讯使用，Leader监听此端口 3888 ： zookeeper端口 用于选举leader Hbase: 60010：Hbase的master的WEB UI端口 60030：Hbase的regionServer的WEB UI 管理端口 Hive: 9083 : metastore服务默认监听端口 10000：Hive 的JDBC端口 Spark： 7077 ： spark 的master与worker进行通讯的端口 standalone集群提交Application的端口 8080 ： master的WEB UI端口 资源调度 8081 ： worker的WEB UI 端口 资源调度 4040 ： Driver的WEB UI 端口 任务调度 18080：Spark History Server的WEB UI 端口 Kafka：

0. 访问hub.docker.com 主要是获得安装软件的信息及文档 1.docker search 软件名称 docker search zookeeper 2.docker pull 软件名:版本号 因为总是连接失败，重新配置/etc/docker/daemon.json 详见 https://www.jianshu.com/p/405fe33b9032 docker pull zookeeper:3.4.11 3.docker run 主要是通过hub.docker.com提供的文档设置 docker run --name zk0 -p 2181:2181 -p 2888:2888 -p 3888:3888 --restart always -d zookeeper:3.4.11 4.docker ps -a # 查看docker的运行状态 docker ps -a 5.Docker 访问 zookeeper docker exec -it zk0 bash cd bin/ ls -a #启动服务 ./zkServer.sh start #启动客户端 ./zkCli.sh ls / #show : [services , zookeeper] ls /services #show : [cloud-provider-payment](注册的服务名)

面对可能出现的网络延迟，不可预估的请求流量等情况，设计一个分布式系统，我们通常围绕系统高可用，数据一致性的目标去规划和实现，想要完全实现这个目标，却并非易事。由此，分布式系统领域诞生了一个基本定理，即 CAP 定理，用于指导分布式系统的设计，从系统高可用，数据一致性，网络容错三个角度将分布式系统的特性抽成一个分区容错一致性模型。这样一来，让系统设计者只需根据业务场景特点，进行权衡设计适合业务场景的分区容错一致性模型即可，很大程度简化了分布式系统设计的难度。 也因此，CAP 定理是架构师所必须要掌握的内容，它影响着架构师对分布式系统的技术选型，技术决策。既然如此重要，接下来，我们就一起学习下 CAP 定理吧。 什么是 CAP CAP 定理最初是由加州大学伯克利分校的计算机科学家埃里克·布鲁尔（Eric Brewer）在 2000 年的 ACM PODC 上提出的一个猜想，也因此被叫做布鲁尔定理。后来在 2002 年，麻省理工学院的赛斯·吉尔伯特（Seth Gilbert）和南希·林奇（Nancy Lynch）发表了 CAP 定理的证明，让它成为分布式系统领域公认的一个定理。 CAP 定理指出了，在一个跨区域网络连接，共享数据的分布式系统中，一致性（Consistency），可用性（Availability）和分区容错性（Partition Tolerance）