master

首先遇到这个是因为binlog位置索引处的问题，不要reset slave； reset slave会将主从同步的文件以及位置恢复到初始状态，一开始没有数据还好，有数据的话，相当于重新开始同步，可能会出现一些问题； 一般做主从同步，都是要求以后的数据实现主从同步，而对于旧的数据完全可以使用数据库同步工具先将数据库同步，完了再进行主从同步； 好了遇到上面的问题，正确做法是： 1.打开主服务器，进入mysql 2.执行flush logs；//这时主服务器会重新创建一个binlog文件； 3.在主服务上执行show master slave \G;显示如下： 4.来到从服务器的mysql； 5.stop slave; 6.change master to master_log_file='mysql-bin.000012',master_log_pos=154;//这里的file和pos都是上面主服务器master显示的。 7.start slave;//这时候就应可以了 8.show slave status \G;//结果如下： 转载于:https://www.cnblogs.com/maodoudou/p/11217202.html 首先遇到这个是因为binlog位置索引处的问题，不要reset slave； reset slave会将主从同步的文件以及位置恢复到初始状态

集群模式说明 安装JDK/Scala 安装hadoop 安装Spark 下载 安装 测试 开启独立集群 开启shell 执行语句测试 集群模式说明 如第一节所说，spark依赖的存储引擎和资源调度框架均可以替换，上一节默认都在本地，要改成集群模式，只需要把对应的存储引擎和资源调度框架替换上即可。 这里主要讲独立集群模式(standlone)和yarn集群模式：前者只依赖hdfs作为存储，使用standlone自带的master和worker作为计算资源；后者依赖hdfs作为存储，依赖yarn调度分配计算资源。 安装JDK/Scala 参考前文 安装hadoop 参考前文 standlone模式我们只需要使用HDFS作为存储，所以只需要start-dfs.sh启动分布式文件系统即可；yarn模式还需要start-yarn.sh开启yarn调度集群。 安装Spark 下载 下载位置 http://spark.apache.org/downloads.html 注意选择适合对应hadoop版本的spark，点击下载会自动选择最近的镜像下载 当前安装使用2.3.3版本 安装 解压 如下解压后，进入conf目录 tar -zxf spark-2.3.3-bin-hadoop2.7 配置SPARK_HOME并添加到PATH中 配置 spark-env.sh.template改名为spark

（1）9 shard，3 node （2）master node宕机，自动master选举，red （3）replica容错：新master将replica提升为primary shard，yellow （4）重启宕机node，master copy replica到该node，使用原有的shard并同步宕机后的修改，green 来源： CSDN 作者： 潇凝子潇 链接： https://blog.csdn.net/xu990128638/article/details/104108495

K8s: 开源的容器集中管理系统，使用go语言开发，用于管理云平台中多个主机上的容器化应用 Kubernetes 特性: K8s的目标是让部署容器化的应用简单并且高效提供了资源调度、部署管理、服务发现、扩容缩容、监控，维护等一整套功能。成为跨主机集群的自动部署、扩展以及运行应用程序容器的平台。 1.自我修复 2.弹性伸缩 3.自动部署和回滚 4.服务发现和负载均衡 5.机密和配置管理 6.存储编排 7.批量处理 Kubernetes集群构架与组件： K8s属于主从分布式架构，主要由master和worker node组成,包括客户端命令行工具kubectl和其它附加项。 Master作为控制节点，对集群进行统一的调度和管理,增删改查。 Worker Node：作为真正的工作节点，运行业务应用的容器，node由master管理，node负责监控并汇报容器的状态。 kubectl：客户端工机具，用于通过命令行与API Server进行交互，对Kubernetes集群进行操作，实现在集群中进行各种资源的增删改查等操作。 Kubernetes 组件介绍： Master组件：集群控制管理节点，负责管理集群，所有的命令都经由master处理，拥有Etcd存储服务，运行Api Server进程，Controller Manager服务进程及Scheduler服务进程，关联工作节点Node。

Kubernetes dashbord自身不做认证，认证都是k8s集群来做的。 一、部署 参照官方文档： https://github.com/kubernetes/dashboard [kubelet@master ~]$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommended/kubernetes-dashboard.yaml Tips：需要下载下来修改镜像路径，国内不允许访问镜像，可修改为阿里云的镜像仓库地址。registry.cn-shanghai.aliyuncs.com/yingzhuo/kubernetes-dashboard-amd64:v1.10.1 1、部署中修改的地方 避免在安装过程中出错，或者安装后各种各样的问题。如果想一次性安装部署成功，并且能够进入首页，需手动下载kubernetes-dashboard.yaml资源清单，并修改三个地方。 （1）deployment镜像地址 需要下载下来修改镜像路径，国内不允许访问镜像，可修改为阿里云的镜像仓库地址。registry.cn-shanghai.aliyuncs.com/yingzhuo/kubernetes-dashboard-amd64:v1.10.1 （2

MySQL主从复制作用 1)、什么是MySQL主从复制 MySQL主从复制是指数据可以从一个MySQL数据库服务器主节点复制到一个或多个MySQL数据库从节点。MySQL默认采用异步复制方式，这样从节点不用一直访问主服务器来更新自己的数据，数据的更新可以在远程连接上进行，从节点可以复制主数据库中的所有数据库或者特定的数据库。 2)、MySQL主从复制作用 一、数据热备 作为备数据库，当主数据库服务器发生故障后，可切换到从数据库继续工作，避免数据丢失。 二、读写分离 可支持MySQL数据库服务器支持更大的并发。数据读写操作可分配在不同的服务器间进行。如操作报表中尤其重要，由于部分报表SQL语句非常的慢，会导致锁表，影响前台服务。使用主从复制，前台使用master，负责写，报表使用slave，负责读，那么报表SQL将不会造成前台锁表，保证了前台正常运行。 三、架构扩展 随着业务量越来越大，I/O访问频率过高，单机可能无法满足。此时做多库的存储，如一主多从方式，以降低磁盘I/O访问，提高单个机器的I/O性能。 MySQL主从复制原理 MySQL数据复制的基础是二进制日志文件（binary log file）。一台MySQL数据库一旦启用二进制日志后，其作为master节点，数据库中所有操作都会以“事件”的方式记录在二进制日志中，其他数据库作为slave通过一个I/O线程与主服务器保持通信

中心化的工作流 优势 首先它让每个开发者都有自己的本地的完整项目副本。隔离的环境使得每个开发都的工作独立于项目的其它修改 —— 他们可以在自己的本地仓库中添加提交，完全无视上游的开发，直到需要的时候。 其次，它让你接触到了 Git 分支和合并模型。Git 分支被设计为故障安全的机制，用来在仓库之间整合代码和共享更改。 如何工作 中心化的工作将中央仓库作为项目中所有修改的唯一入口。默认的开发分支叫做 master，所有的更改都被提交到这个分支。这种工作流不需要 master 之外的其它分支。 开发者将中央仓库克隆到本地后开始工作。在他们的本地项目副本中，他们可以像 SVN 一样修改文件和提交更改；不过这些新的提交被保存在本地 —— 它们和中央仓库完全隔离。这使得开发者可以将和上游的同步推迟到他们方便的时候。 为了向官方项目发布修改，开发者将他们本地 master 分支“推送”到中央仓库。这一步等同于 svn commit，除了 Git 添加的是所有不在中央 master 分支上的提交。 管理冲突 中央仓库代码官方项目，因此它的提交历史应该被视为不可更改的。如果开发者的本地提交和中央仓库分叉了，Git 会拒绝将它们的修改推送上去，因为这会覆盖官方提交。 在开发在提交功能之前，需要 fetch 更新中央提交，在它们之上 rebase 自己的更改。 如果本地修改和上游提交的冲突时，Git

主从复制 原理 slave会从master读取binlog来进行数据同步。主要有以下三个步骤： ①master将改变记录到二进制日志（binary log），这些记录过程叫做二进制日志事件（binary log events）。 ②slave将master的binary log events拷贝到中继日志（relay log）。 ③slave重做中继日志中的事件，将改变应用到自己的数据库中。MySQL的复制是异步且串行化的。 规则： ①每个slave只能有一个master。（一对一） ②每个slave只能有一个唯一的服务器ID。 ③每个master可以有多个slave。（一对多） 在主从复制过程中，从原理可以看出必然存在延时。 实现步骤： /etc/mysql/my.cnf主机配置中增加 #主服务器唯一ID server-id=1 #启用二进制日志 log-bin=mysql-bin #设置不要复制的数据库(可设置多个) binlog-ignore-db=mysql binlog-ignore-db=information_schema #设置需要复制的数据库 binlog-do-db=需要复制的主数据库名字 #设置logbin格式 binlog_format=STATEMENT 2在从服务 /etc/mysql/my.cnf 新增 #从服务器唯一ID server-id=2

5.安装配置keepalived Keepalived 是运行在 lvs 之上，它的主要功能是实现真实机的故障隔离及负载均衡器间的失败切换 FailOver.lvs 结合 keepalived，就实现了 3 层、4 层、5/7 层交换的功能。下面进行LVS第二种用法，LVS+keepalived。其中ipvsadm的安装及验证同 本文第4.2章节 （ 这种方式不需要配置Director Server ），Real Server的配置及验证同本文第4.4章节 * 所有Director Server需要安装keepalived(已经安装了ipvsadm的主机) 5.1 准备工作 地址规划：与第一种方式类似。 服务器名 IP地址 网关 虚拟设备名 虚拟IP Director Server：主 192.168.98.75 192.168.98.1 eth0 192.168.98.77 Director Server：备 192.168.98.118 192.168.98.1 eth0 192.168.98.77 Real Server 1 192.168.98.74 192.168.98.1 lo:0 192.168.98.77 Real Server 2 192.168.98.117 192.168.98.1 lo:0 192.168.98.77 Real Server n … … ..

用到的新命令 1.git log --graph：查看到分支合并图 1.准备新的feature1分支，修改readme.txt [root@VM_0_11_centos learn_git]# git checkout -b feature1 Switched to a new branch 'feature1' [root@VM_0_11_centos learn_git]# git branch * feature1 master [root@VM_0_11_centos learn_git]# cat readme.txt Git is a distributed version control system. Git is free software distributed under the GPL. Git has a mutable index called stage. Git tracks changes. Creating a new branch is quick and simple.<==新加 and simple 2.add 和 commit [root@VM_0_11_centos learn_git]# git add readme.txt [root@VM_0_11_centos learn_git]# git commit -m "and