host

一、RabbitMQ概念 RabbitMQ是流行的开源消息队列系统，是AMQP（Advanced Message Queuing Protocol高级消息队列协议）的标准实现，用erlang语言开发。RabbitMQ据说具有良好的性能和时效性，同时还能够非常好的支持集群和负载部署，非常适合在较大规模的分布式系统中使用。 消息中间件的工作过程可以用生产者消费者模型来表示.即,生产者不断的向消息队列发送信息,而消费者从消息队列中消费信息.具体过程如下: 从上图可看出,对于消息队列来说,生产者,消息队列,消费者是最重要的三个概念,生产者发消息到消息队列中去,消费者监听指定的消息队列,并且当消息队列收到消息之后,接收消息队列传来的消息,并且给予相应的处理.消息队列常用于分布式系统之间互相信息的传递. Rabbit模式大概分为以下三种：单一模式、普通模式、镜像模式 单一模式： 最简单的情况，非集群模式，即单实例服务。 普通模式： 默认的集群模式。 queue创建之后，如果没有其它policy，则queue就会按照普通模式集群。对于Queue来说，消息实体只存在于其中一个节点，A、B两个节点仅有相同的元数据，即队列结构，但队列的元数据仅保存有一份，即创建该队列的rabbitmq节点（A节点），当A节点宕机，你可以去其B节点查看，./rabbitmqctl list_queues

ansible-galaxy 连接 https://galaxy.ansible.com 下载相应的roles，此网站是Ansible爱好者将日常使用较好的playbooks打包上传，其他人可以免费下载 到Ansible PlayBooks并立即投入使用。 ansible-galaxy 语法： ansible-galaxy [delete|import|info|init|install|list|login|remove|search|setup] [--help] [options]  列出已安装的galaxy #ansible-galaxy list geerlingguy.mysql - geerlingguy.mysql, 2.8.1  安装galaxy ansible-galaxy install geerlingguy.redis  删除galaxy ansible-galaxy remove geerlingguy.redis 进入网站后找到这时标记的地方 把名字复制下来 就可以在你的ansible主机上进行安装剧本了。 #ansible-galaxy install geerlingguy.mysql - downloading role 'mysql', owned by geerlingguy - downloading role from https:

配置文件 hadoop的配置是由两种重要类型的配置文件进行驱动的： 默认是只读的配置： core-default.xml, hdfs-default.xml, yarn-default.xml and mapred-default.xml。 特殊节点配置： conf/core-site.xml, conf/hdfs-site.xml, conf/yarn-site.xml and conf/mapred-site.xml。 此外，你可以通过分布的bin/文件夹下的hadoop脚本conf/hadoop-env.sh和yarn-env.sh。通过设置设定值进行控制。 节点配置： 要配置Hadoop集群，你需要配置在Hadoop运行的环境中配置环境变量以及为Hadoop守护进程的配置参数。 Hadoop启动进程是NameNode/DataNode and ResourceManager/NodeManager。 配置Hadoop运行环境 管理员可以使用的conf/hadoop-env.sh 和 conf/yarn-env.sh脚本做的Hadoop运行的进程环境中的特定节点的配置。至少你应该正确配置集群远程节点上的JAVA_HOME 。 在大多数情况下，你也应该设置HADOOP_PID_DIR 和 HADOOP_SECURE_DN_PID_DIR

问题导读 1.说说你对集群配置的认识？ 2.集群配置的配置项你了解多少？ 3.下面内容让你对集群的配置有了什么新的认识？ 目的 目的1： 这个文档描述了如何安装配置hadoop集群，从几个节点到上千节点。为了学习hadoop，你可能先从单节点入手 (查看 Single Node Setup).这里有中文版 hadoop2.7【单节点】单机、伪分布、分布式安装指导 http://www.aboutyun.com/thread-12798-1-1.html 这个文档不包括：hadoop在安全模式下配置和HA【高可用配置】，后面在更新 目的2： 我们看了很多集群配置文档，你是否静下心来，想集群配置到底是怎么一回事。 准备 1.安装Java 2.下载hadoop包 ################################## 包集合： hadoop家族、strom、spark、Linux、flume等jar包、安装包汇总下载(持续更新) http://www.aboutyun.com/thread-8178-1-1.html ################################## 安装 安装hadoop集群包括：解压包，配置hadoop，划分主节点和子节点。 集群中可以将namenode和ResourceManager分布在不同的机器上，这些称之为 master

前置工作 此处阅读需要曾经有1.x版本的安装部署经验 ssh无密码配置如同1.X版本和防火墙需要关闭，而需要的java环境也要准备好 将hadoop集群进行网络隔离，服务请求以及数据请求不要直接访问hadoop集群 安装步骤 一、核心配置文件以及配置（此处配置来源于官网） conf/core-site.xml Parameter Value Notes fs.defaultFS NameNode URI hdfs://host:port/ io.file.buffer.size 131072 Size of read/write buffer used in SequenceFiles. conf/hdfs-site.xml Configurations for NameNode: Parameter Value Notes dfs.namenode.name.dir Path on the local filesystem where the NameNode stores the namespace and transactions logs persistently. If this is a comma-delimited list of directories then the name table is replicated in all of the

前言 持续交付 版本控制器：Gitlab、GitHub 持续集成工具：jenkins 部署工具：ansible 课程安排 Gitlab搭建与流程使用 Ansible环境配置与Playbook编写规范 Jenkins环境构建与任务编写 Freestyle任务实现静态网站部署交付 Pipeline任务实现WordPress部署交付 适用对象 从事运维相关岗位的同学 想了解持续交付领域的同学 想拓宽自己的同学 奋战在运维交付第一线的同学 GitLab 什么是GitLab? GitLab是一个开源分布式版本控制系统 开发语言：Ruby 功能：管理项目源代码，版本控制，代码复用与查找 GitLab与GitHub的不同 GitHub分布式在线代码托管仓库，个人版本可直接在线免费使用，企业版本收费且需要服务器安装 GitLab分布式在线代码仓库托管软件，分社区免费版本与企业收费版本，都需要服务器安装。 GitLab的优势和应用场景 开源免费，适合中小型公司将代码放置在该系统中 差异化的版本管理，离线同步以及强大分支管理功能 便捷的GUI操作界面以及强大账号权限管理功能 集成度很高，能够集成绝大多数的开发工具 支持内置HA，保证在高并发下仍旧实现高可用性 GitLab主要服务构成 Nginx静态Web服务器 GitLab-workhorse轻量级的反向代理服务器 GitLab

原文: Python Socket 网络编程 Socket 是进程间通信的一种方式，它与其他进程间通信的一个主要不同是：它能实现不同主机间的进程间通信，我们网络上各种各样的服务大多都是基于 Socket 来完成通信的，例如我们每天浏览网页、QQ 聊天、收发 email 等等。要解决网络上两台主机之间的进程通信问题，首先要唯一标识该进程，在 TCP/IP 网络协议中，就是通过 (IP地址，协议，端口号) 三元组来标识进程的，解决了进程标识问题，就有了通信的基础了。 本文主要介绍使用 Python 进行 TCP Socket 网络编程，假设你已经具有初步的网络知识及 Python 基本语法知识。 TCP 是一种面向连接的传输层协议，TCP Socket 是基于一种 Client-Server 的编程模型，服务端监听客户端的连接请求，一旦建立连接即可以进行传输数据。那么对 TCP Socket 编程的介绍也分为客户端和服务端： 客户端编程 创建 socket 首先要创建 socket，用 Python 中 socket 模块的函数 socket 就可以完成： #Socket client example in python import socket #for sockets #create an AF_INET, STREAM socket (TCP) s = socket

说明 上一章节 nginx+tomcat+redis负载均衡,实现session共享 ，本次我们使用另一种方式来实现session会话共享，以及实现一套线上运行的环境， 重定提示 本次将重点列于 memcache、ansible 以及keepalived功能的实现上 实验环境 jdk: 8u141 tomcat: 8.5.30 * 2 nginx: 1.12.1 * 2 keepalived： yum memcache: yum * 2 ansible： yum IP地址： 192.168.172.129-134 总六台 第一次手动加简单的ansible，第二次直接用ansible其它的(学习中) 软件下载： memcached-session-manager 需要下载的包[memcached-session-manager-tc8-2.3.0、spymemcached-2.12.3、memcached-session-manager-2.3.0、msm-javolution-serializer-2.1.1,javolution-5.4.3.1] java 需要下载的包jdk-8u141-linux-x64 拓扑图 拓扑-实验说明   1、keepalived实现Nginx负载均衡高可用, keepalived实现服务高可用 将在本章节实现它；   2

MHA高可用集群 文章目录 一、MHA 简介： 二、部署 MHA： 第一步：三台主从服务器安装 mysql 第二步：修改 mysql 的主配置文件：/etc/my.cnf ，注意三台服务器的 server-id 不能一样 第三步：三台服务器启动 mysql 服务 第四步：配置 Mysql 主从同步（一主两从） 第五步：安装 MHA 第六步：启动 MHA 一、MHA 简介： MHA（Master High Availability） （1）简介 目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 （2）该软件由两部分组成： MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时