master

复制如何工作 整体上来说，复制有3个步骤： (1) master将改变记录到二进制日志(binary log)中（这些记录叫做二进制日志事件，binary log events）； (2) slave将master的binary log events拷贝到它的中继日志(relay log)； (3) slave重做中继日志中的事件，将改变反映它自己的数据。 下图描述了复制的过程： 该过程的第一部分就是master记录二进制日志。在每个事务更新数据完成之前，master在二日志记录这些改变。MySQL将事务串行的写入二进制日志，即使事务中的语句都是交叉执行的。在事件写入二进制日志完成后，master通知存储引擎提交事务。下一步就是slave将master的binary log拷贝到它自己的中继日志。首先，slave开始一个工作线程——I/O线程。I/O线程在master上打开一个普通的连接，然后开始binlog dump process。Binlog dump process从master的二进制日志中读取事件，如果已经跟上master，它会睡眠并等待master产生新的事件。I/O线程将这些事件写入中继日志。SQL slave thread（SQL从线程）处理该过程的最后一步。SQL线程从中继日志读取事件，并重放其中的事件而更新slave的数据，使其与master中的数据一致

mysql-day08 部署 MYSQL 高可用集群 u 集群架构 MHA 工作过程 • MHA Manager 会定时探测集群中的 master 节点 , 当 master 出现故障时 , 它可以自动将最新数据的 sl ave 提升为新的 master , 然后将所有其他的 slave 重新指向新的 master 。整个故障转移过程对应用程 序完全透明。 – ( 1 ) 从宕机崩溃的 master 保存二进制日志事件 ( binlog events) – ( 2 ) 识别含有最新更新的 slave – ( 3 ) 应用差异的中继日志 ( relay log ) 到其他的 slave – ( 4 ) 应用从 master 保存的二进制日志事件 ( binlog events ) – ( 5 ) 提升一个 slave 为新的 master ; – ( 6 ) 使其他的 slave 连接新的 master 进行复制 ; u 准备环境 一、集群定义：使用多台服务提供相同的服务 二、高可用集群定义：主备模式，被客户端访问的称作主，当主宕机时，备用 服务器自动接收客户端访问。 拓扑结构 client | | --> vip 192.168.4.100 《 51 ， 52 ， 53 》 _____________________________________________________

[已解决] git push 报错：git: 'credential-manager' is not a git command. See 'git --help'. 解决方案 1）运行 git config --list，部分输出如下： core.editor=nano credential.helper=manager core.repositoryformatversion=0 core.filemode=true core.bare=false core.logallrefupdates=true remote.origin.url=https://github.com/xxx.git remote.origin.fetch=+refs/heads/:refs/remotes/origin/ branch.master.remote=origin branch.master.merge=refs/heads/master 2）运行git config --global --unset credential.helper，之后再git push orgin master即可。 来源： https://www.cnblogs.com/flzs/p/12015207.html

mysql-day06 部署mysql主从同步 案例拓扑 • 一主、一从 – 单向复制时 , 建议将从库设为只读 一、什么是 mysql主从同步 主：正在被客户端访问的数据库服务器，被称作主库服务器。 从：自动同步主库上的数据的数据库服务器，被称作从库服务器。 主从同步结构模式介绍 •基本应用 –单向复制 : 主 --> 从 •扩展应用 –链式复制 : 主 --> 从 --> 从 –双向复制 : 主 <--> 从 –放射式复制 : 从 <-- 主 --> 从 | 从 主从同步原理 ( 续 1 ) 基本构建思路 1. 确保数据相同 –从库必须要有主库上的数据。 2. 配置主服务器 –启用 binlog 日志及设置格式 , 设置 server_id, 授权用 户 3. 配置从服务器 –设置 server_id, 指定主数据库服务器信息 4. 测试配置 –客户端连接主库 , 写入的数据 , 在连接从库的时候也 能够访问到。 相关命令 mysql>show slave status;#显示从库状态信息 mysql>show master status;#显示本机的binlog日志文件信息 mysql>show processlist;#查看当前数据库服务器上正在执行的程序 mysql>start slave;#启动slave进程 mysql>stop slave;#停止slave进程 **

1、什么是哨兵 哨兵是对Redis的系统的运行情况的监控，它是一个独立进程，功能有二个： 监控主数据库和从数据库是否运行正常； 主数据出现故障后自动将从数据库转化为主数据库； 2、原理 单个哨兵的架构： 多个哨兵的架构： 多个哨兵，不仅同时监控主从数据库，而且哨兵之间互为监控。 多个哨兵，防止哨兵单点故障。 3、环境 当前处于一主多从的环境中： 4、设置哨兵 启动哨兵进程首先需要创建哨兵配置文件： vim sentinel.conf 输入内容： sentinel monitor taotaoMaster 127.0.0.1 6379 1 说明： taotaoMaster：监控主数据的名称，自定义即可，可以使用大小写字母和“.-_”符号 127.0.0.1：监控的主数据库的IP 6379：监控的主数据库的端口 1：最低通过票数 启动哨兵进程： redis-sentinel ./sentinel.conf 由上图可以看到： 哨兵已经启动，它的id为9059917216012421e8e89a4aa02f15b75346d2b7 为master数据库添加了一个监控 发现了2个slave（由此可以看出，哨兵无需配置slave，只需要指定master，哨兵会自动发现slave） 5、从宕机及恢复 kill掉2826进程后，30秒后哨兵的控制台输出： 2989:X 05 Jun 20:09

https://blog.51cto.com/13438667/2125166 还有单纯的主备配置的很全可以看看，比老师的还好， https://www.jianshu.com/p/cf7601437ecc keepalived的脚本很厉害的，就像一个计划任务，然乎切换到另一台，好好用 这个是关于角色切换的 在网上查阅到的资料中，大都认为按照上述配置后可以完全符合预期中的4个点，不会出现MASTER节点服务检查失败后VIP不漂移的问题。但是实践是检验真理的唯一标准，配置nopreemt后，不仅是会让原MASTER节点服务恢复后不抢占，而是会完全的不选举新MASTER(从头到尾永远不切换，除非BACKUP认为当前集群中不存在MASTER, 才会重新选举)，这样便可以解释出现的问题1和问题2了： 问题1的原因在于： 先启动的节点将自己选举为MASTER, 在收到其他节点的vrrp报文后不会按照优先级调整自己的角色； 后启动的节点收到了MASTER的vrrp报文，发现已经存在MASTER，由于不抢占，自动进入BACKUP状态； 问题2的原因在于： 设置了nopreempt, 永远不发生角色切换； ———————————————— 原文链接：https://blog.csdn.net/m0_37904728/article/details/89429310 https://blog

-------------------LVS专题------------------------ LVS原理详解及部署之一：ARP原理准备 LVS原理详解及部署之二：LVS原理详解（3种工作方式8种调度算法） LVS原理详解及部署之三：手动部署LVS LVS原理详解及部署之四：keepalived介绍 LVS原理详解及部署之五：LVS+keepalived实现负载均衡&高可用 ------------------------------------------------- 之前已经讲解LVS原理，并且介绍了如果手动部署LVS。但由于我们需要进行RS节点服务器的健康检查，还有要做LVS的HA。此文就主要介绍keepalived的原理，并且介绍如何部署keepalived做作为web服务器的HA。本文的目录如下： 一、keepalived原理介绍 二、部署keepalived作为web服务器的HA 三、脚本实现监控httpd服务 一、keepalived原理介绍 1）keepalived简介 Keepalived的功能有点像是两个人互相看着一个工作，如果一个人离开岗位另外一个人就会接替，这个keepalived就是他们之间保持这样“替换机制”的工具。keepalived是一个类似于layer3, 4 & 5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换

一、编写程序WordCount 1、导入相应jar包 这些jar包都在saprk的安装包里。 2、编写程序 package com.cn.spark import org.apache.spark.{SparkConf, SparkContext} object WordCount { def main(args: Array[String]): Unit = { val conf=new SparkConf().setAppName("WordCount"); val sc= new SparkContext(conf); val input=sc.textFile("/home/test/aa.txt"); val lines=input.flatMap(line=>line.split(" ")) val kv=lines.map(word=>(word,1)) val count=kv.reduceByKey(_+_); val output=count.saveAsTextFile("/home/test01/") } } 3、在hadoop上面相应路径下创建aa.txt [root@master ~]# hdfs dfs -mkdir /home/test [root@master ~]# hdfs dfs -ls /home/test/ Found 1 items

一、在master上安装apiserver组件： 1、编写apiserver脚本： vim /root/scripts/apiserver.sh #!/bin/bash #下载二进制包： GitHub地址：https://github.com/kubernetes/kubernetes wget https://storage.googleapis.com/kubernetes-release/release/v1.17.0-alpha.3/kubernetes-server-linux-amd64.tar.gz tar xf kubernetes-server-linux-amd64.tar.gz cd kubernetes/server/bin/ mv kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/bin/ #编写apiserver配置文件 MASTER_ADDRESS= 1 : − " 192.168.1.250 " E T C D S E R V E R S = {1:-"192.168.1.250"} ETCD_SERVERS= 1 : − " 1 9 2 . 1 6 8 . 1 . 2 5 0 " E T C D S ​ E R V E R S = {2:-“http:/

第一次提交： 1.git init //创建本地库 2.git remote add origin 地址 3.git pull origin master --allow-unrelated-histories 4.git add -A 5.git commint -m " xxx" 6.git push origin master 拉取远程代码更新到本地： 1.git pull origin master 更新本地到远程仓库： 1.git add . 2.git commit -m "提交信息" 3.git push origin master 来源： CSDN 作者： 一颗小陨石 链接： https://blog.csdn.net/weixin_43696529/article/details/103461111