master

描述： 1.使用两台机器，一台是win10，一台是centos7，分别在两台机器上部署scrapy来进行分布式抓取一个网站 2.centos7的ip地址为192.168.1.112，用来作为redis的master端，win10的机器作为slave 3.master的爬虫运行时会把提取到的url封装成request放到redis中的数据库：“dmoz:requests”，并且从该数据库中提取request后下载网页，再把网页的内容存放到redis的另一个数据库中“dmoz:items” 4.slave从master的redis中取出待抓取的request，下载完网页之后就把网页的内容发送回master的redis 5.重复上面的3和4，直到master的redis中的“dmoz:requests”数据库为空，再把master的redis中的“dmoz:items”数据库写入到mongodb中 6.master里的reids还有一个数据“dmoz:dupefilter”是用来存储抓取过的url的指纹（使用哈希函数将url运算后的结果），是防止重复抓取的 安装redis（ http://blog.fens.me/linux-redis-install/ ） windows安装redis 下载地址： https://github.com/rgl/redis/downloads

1 分支规范 master 主分支 dev 主开发分支 hotfix 修复bug分支 feature 功能开发分支 1.1 主分支master master分支永远受保护。不可在master分支上开发，进行commit，push操作。 master分支只接收merge操作。 每次发布正式上线的稳定版本（发布后第一天），将当前发布版本merge到master分支。 master分支的代码永远和线上代码保持同步。 1.2 主开发分支dev dev分支为主开发分支。可以进行commit，push，merge操作。 一般不在dev分支上进行新功能的开发。dev分支用来做不同分支的代码整合。 每次master发布以后，需要把master的代码merge到dev上。保持比master的代码更新。 1.3 hotfix分支 hotfix/xxxx hotfix分支是由master分支checkout出来，用于热修复线上bug用。可以进行commit，push，merge操作。 修复完毕经验证后直接发布。发布完成后merge到master分支。 1.4 功能开发分支 feature/xxxx 用来进行新功能开发的分支。此分支由dev分支checkout出来，可以进行commit，push，merge操作。 按照功能或者版本可以同时checkout多个feature分支并行开发

博文大纲： 一、Kubernetes简介 二、kubeadm简介 三、环境准备 四、部署前准备 1）检查docker版本、关闭防火墙与SELinux、清空iptables规则，禁用Swap 2）配置免密登录、配置hosts文件以及yum源 3）打开iptables桥接及路由转发 五、部署kubernetes群集 1）编写下载镜像的脚本 2）下载部署kubernetes集群所需组件 3）初始化kubernetes集群 4）配置master节点状态 5）将node01、node02加入kubernetes群集中 6）部署后的优化操作 一、Kubernetes简介 Kubernetes是一个开源的，用于管理云平台中多个主机上的容器化应用。Kubernetes的目标就是让部署容器化的应用简单并且高效。Kubernetes提供了应用部署、规划、更新、维护的一种机制。 Kubernetes一个核心的特点就是能够自主的管理容器来保证云平台中的容器按照用户的期望状态运行，管理员可以加载一个微型服务，让规划期来找到合适的位置，同时，Kubernetes也系统提升工具以及人性化方面，让用户能够方便的部署自己的应用。 本片博文主要介绍如何部署Kubernetes集群，想要对Kubernetes有更深入的了解请参考 Kubernetes中文文档 或 Kubernetes官方网站 二、kubeadm简介

一、安装环境准备 1 、 磁盘环境准备 磁盘分区典型配置如下： 文件系统 文件格式 大小 / ext3 50GB,Linux系统的根目录，所有的目录都挂在这个目录下面，建议大小为5GB以上 /boot ext3 用来存放与Linux系统启动有关的程序，比如启动引导装载程序等，建议大小为200MB swap swap 1*RAM,实现虚拟内存，建议大小是物理内存的1~2倍 /usr ext3 用来存放Linux系统中的应用程序，其相关数据较多，建议大于3GB以上 /var ext3 用来存放Linux系统中经常变化的数据以及日志文件，建议大于1GB以上 /tmp ext3 将临时盘在独立的分区，可避免在文件系统被塞满时影响到系统的稳定性。建议大小为500MB以上 /data1 xfs 依据数据量而定 /data2 xfs 依据数据量而定 /home ext3 存放普通用户的数据，是普通用户的宿主目录，建议大小为剩下的空间 2 、 设置GP 推荐的OS 参数 注：标示“三台主机”的表示要在三台电脑上都做该操作，“master节点”表示只在mdw主机上操作 hostname ip 内存 硬盘 mdw 192.168.10.200 500M 8G sdw1 192.168.10.201 500M 8G sdw2 192.168.10.202 500M 8G Greenplum 需要在GP

CentOS7下MySQL主从Master-Slaves同步配置 环境说明 Centos版本: CentOS Linux release 7.7.1908 (Core) Linux连接工具：SecureCRT MySQL Version: 5.7.28 主库主机地址：192.168.163.61 从库主机地址：192.168.163.62 参考文档：https://dev.mysql.com/doc/refman/5.7/en/replication.html 为什么要做主从同步 主从配置原理 配置主从同步 1.1 配置主服务器 修改主服务器配置文件/etc/my.cnf #启用二进制日志记录 ：主服务器基于二进制日志文件位置的复制 log-bin=mysql-bin #每个服务器必须配置有唯一的服务器ID，实战中，通常配置为IP的最后一个数字 server-id=61 #指定可以主从同步的数据库，多数据库要配置多行 binlog-do-db=db_consumer binlog-ignore-db=information_schema binlog-ignore-db=mysql binlog-ignore-db=orders binlog-ignore-db=performance_schema binlog-ignore-db=sys 重启MySQL服务 [ root

---------主主------- yum -y install mysql mysql-server service mysqld start service iptables stop setenforce 0 vim /etc/my.cnf log-bin=mysql-bin server-id=1 relay_log=relaylogs service mysqld restart mysql grant all on . to ‘tongbu’@‘192.168.71.%’ identified by ‘123’; flush privileges; reset master; show master status; 去第二台 yum -y install mysql mysql-server service mysqld start service iptables stop setenforce 0 vim /etc/my.cnf log-bin=mysql-bin server-id=2 relay_log=relaylogs service mysqld restart mysql grant all on . to ‘tongbu’@‘192.168.71.%’ identified by ‘123’; flush privileges; reset

文章目录 1 saltstack简介 2 环境 3 配置hosts 4 安装 4.1 安装salt-master 4.2 安装salt-minion 5 配置与启动 5.1 配置salt-master 5.2 启动salt-master 5.3 配置salt-minion 5.4 启动salt-minion 6 使用 6.1 显示所有minion认证信息 6.2 添加认证信息 7 命令 7.1 简单命令 7.1.1 主机是否通(test.ping) 7.1.2 执行命令(cmd.run) 7.2 其它命令 8 参考文档 技术交流 1 saltstack简介 SaltStack是一个服务器基础架构集中化管理平台，具备配置管理、远程执行、监控等功能，基于Python语言实现，结合轻量级消息队列（ZeroMQ）与Python第三方模块（Pyzmq、PyCrypto、Pyjinjia2、python-msgpack和PyYAML等）构建。 通过部署SaltStack，我们可以在成千万台服务器上做到批量执行命令，根据不同业务进行配置集中化管理、分发文件、采集服务器数据、操作系统基础及软件包管理等，SaltStack是运维人员提高工作效率、规范业务配置与操作的利器。 2 环境 主机名 IP 安装软件 salt-master1 172.16.159.143 salt-master salt

简介 MHA（Master HA）是一款开源的 MySQL 的高可用程序，它为 MySQL 主从复制架构提供了 automating master failover 功能。MHA 在监控到 master 节点故障时，会提升其中拥有最新数据的 slave 节点成为新的master 节点，在此期间，MHA 会通过于其它从节点获取额外信息来避免一致性方面的问题。MHA 还提供了 master 节点的在线切换功能，即按需切换 master/slave 节点。 　　MHA 是由日本人 yoshinorim（原就职于DeNA现就职于FaceBook）开发的比较成熟的 MySQL 高可用方案。MHA 能够在30秒内实现故障切换，并能在故障切换中，最大可能的保证数据一致性。目前淘宝也正在开发相似产品 TMHA， 目前已支持一主一从。 一、环境 name ip 服务 备注 manager 10.0.0.41 manager控制器 用于监控管理 master 10.0.0.42 mysql主 开启bin-log relay-log 关闭relay_log_purge slave1 10.0.0.43 mysql从 开启bin-log relay-log 关闭relay_log_purge slave2 10.0.0.44 mysql从 开启bin-log relay-log 关闭relay_log

什么是MFS？ MooseFS是一个容错，高可用，高性能，扩展，网络分布式文件系统。它将数据分布在多个物理商品服务器上，这些服务器对用户可视为一个虚拟磁盘。它符合POSIX并且像任何其他类Unix文件系统一样支持： 分层结构：文件和文件夹， 文件属性， 特殊文件：管道，插座，块和字符设备， 符号和硬链接， 安全属性和ACL。 它适用于需要标准文件系统的所有应用程序。 分布式原理 分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。简单来说，就是把一些分散的（分布在局域网内各个计算机上）共享文件夹，集合到一个文件夹内（虚拟共享文件夹）。对于用户来说，要访问这些共享文件时，只要打开这个虚拟共享文件夹，就可以看到所有链接到虚拟共享文件夹内的共享文件夹，用户感觉不到这些共享文件是分布于各个计算机上的。分布式文件系统的好处是集中访问、简化操作、数据容灾，以及提高文件的存取性能。 MFS原理 MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是统一的资源。 MFS文件系统的组成 元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据。 元数据日志服务器（Metalogger）：备份Master服务器的变化日志文件，文件类型为changelog_ml.*.mfs

MFS工作原理 分布式原理 分布式文件系统就是把一些分散在多台计算机上的共享文件夹，集合到一个共享文件夹内，用户要访问这些文件夹的时候，只要打开一个文件夹，就可以的看到所有链接到此文件夹内的共享文件夹。 MFS原理 MFS是一个具有容错性的网络分布式文件系统，它把数据分散存放在多个物理服务器上，而呈现给用户的则是一个统一的资源。 MFS的组成 •元数据服务器（Master）：在整个体系中负责管理文件系统，维护元数据，目前不支持高可用。 •元数据日志服务器（MetaLogger）：备份Master服务器的变化日志文件，当master服务器损坏，可以从日志服务器中取得文件恢复。 •数据存储服务器（Chunk Server）：真正存储数据的服务器，服务器越多，容量就越大，可靠性越高，性能越好。 •客户端（Client）： 可以像挂载NFS一样 挂载MFS文件系统 MFS读数据的处理过程 •客户端向元数据服务器发出读请求 •元数据服务器把所需数据存放的位置（Chunk Server的IP地址和Chunk编号）告知客户端 •客户端向已知的Chunk Server请求发送数据 •Chunk Server向客户端发送数据 写入的过程 •客户端向元数据服务器发送写入请求 •元数据服务器与Chunk Server进行交互，但元数据服务器只在某些服务器创建新的分块Chunks，创建成功后由hunk