log文件

转自：https://www.cnblogs.com/zhouxinfei/p/7862285.html nginx概述 nginx是一款自由的、开源的、高性能的HTTP服务器和反向代理服务器；同时也是一个IMAP、POP3、SMTP代理服务器；nginx可以作为一个HTTP服务器进行网站的发布处理，另外nginx可以作为反向代理进行负载均衡的实现。 这里主要通过三个方面简单介绍nginx 反向代理 负载均衡 nginx特点 1. 反向代理 关于代理 说到代理，首先我们要明确一个概念，所谓代理就是一个代表、一个渠道； 此时就设计到两个角色，一个是被代理角色，一个是目标角色，被代理角色通过这个代理访问目标角色完成一些任务的过程称为代理操作过程；如同生活中的专卖店~客人到adidas专卖店买了一双鞋，这个专卖店就是代理，被代理角色就是adidas厂家，目标角色就是用户 正向代理 说反向代理之前，我们先看看正向代理，正向代理也是大家最常接触的到的代理模式，我们会从两个方面来说关于正向代理的处理模式，分别从软件方面和生活方面来解释一下什么叫正向代理 在如今的网络环境下，我们如果由于技术需要要去访问国外的某些网站，此时你会发现位于国外的某网站我们通过浏览器是没有办法访问的，此时大家可能都会用一个操作FQ进行访问，FQ的方式主要是找到一个可以访问国外网站的代理服务器，我们将请求发送给代理服务器

AndroidStudio中的项目可以用compile的形式引入github上的开 源项目，可以引用module，而不一定都要用libs文件夹中添加jar包的形式。在最终realease打包时，混淆的设置是比较重要的，否则会导致 生成的包有很多功能不能正常使用。下面列举一个基本的app的build.gradle和混淆文件。并注意，混淆打包后的apk文件大小会比不使用混淆要 小。 在app根目录下设置build.gradle和混淆文件，然后把混淆选项写入混淆文件就可以。虽然app项目中可能引用了一些module，但这些module工程可以不定义自己的混淆，我的工程目录结构如下： 其中app是应用主模块，引用剩余的module，被引用module的build.gradle中都使用默认的设置不启用混淆： buildTypes { release { minifyEnabled false proguardFiles getDefaultProguardFile('proguard-android.txt'), 'proguard-rules.pro' } } 在主目录的build.gradle: apply plugin: 'com.android.application' def releaseTime() { return new Date().format("yyyy-MM-dd"

MHA高可用集群 文章目录 一、MHA 简介： 二、部署 MHA： 第一步：三台主从服务器安装 mysql 第二步：修改 mysql 的主配置文件：/etc/my.cnf ，注意三台服务器的 server-id 不能一样 第三步：三台服务器启动 mysql 服务 第四步：配置 Mysql 主从同步（一主两从） 第五步：安装 MHA 第六步：启动 MHA 一、MHA 简介： MHA（Master High Availability） （1）简介 目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换的过程中，MHA能在最大程度上保证数据的一致性，以达到真正意义上的高可用。 （2）该软件由两部分组成： MHA Manager（管理节点）和MHA Node（数据节点）。MHA Manager可以单独部署在一台独立的机器上管理多个master-slave集群，也可以部署在一台slave节点上。MHA Node运行在每台MySQL服务器上，MHA Manager会定时探测集群中的master节点，当master出现故障时

一、背景 　　随着业务量和用户数量的激增，单一的tomcat部署应用已经无法满足性能需求，而且对于每次发布项目期间服务不可用的问题也凸显，既然出现了这个问题，那么我们本文就借助nginx来完美的解决这个问题。 二、基本概念 1.说明：关于Nginx的概念和介绍以及Centos7下安装步骤，请移步： Centos7安装Nginx实战 2.正向代理和反向代理 　假设我们给定客户端A、代理服务器B、以及最终服务器C 　正向代理：代理服务器B来代替客户端A来访问最终服务器C并将最终结果转发给客户端A，站在客户端A的角度上，代理服务器代理的是客户端A，这个过程是正向的，所以叫正向代理。（正向代理需要客户端A设置代理服务器的ip和提供代理服务的端口） 　反向代理：客户端A直接访问代理服务器B，由代理服务器B来决定将请求转发到哪个最终服务器进行真正处理，并将最终服务器的处理结果转发给客户端A，也就是代理服务器代理的是最终服务器C，站在客户端A的角度上，这个过程是反向的，所以叫反向代理。（反向代理不需要客户端A进行任何设置） 　关于正向代理和反向代理，这里有一篇不错的文章： 图解正向代理、反向代理、透明代理 3.负载均衡(Load Balance) 　 所谓负载均衡就是将一批可以提供相同服务的服务器组成一个服务器集合，每台服务器都可以单独向外部提供相同的服务，通过某种负载分担技术

文章目录 安装使用ELK6.0 1. Elasticsearch安装准备工作 配置三台机器的hosts文件内容如下： 三台主机安装es 配置es 配置完成后，回到到主节点上，启动es服务。9300端口是集群通信用的，9200则是数据传输时用的： curl查看es集群情况 启动报错： 2. 搭建kibana和logstash服务器 master上安装kibana 安装完成后，对kibana进行配置： 然后在浏览器里进行访问测试 在数据节点上安装logstash,并测试收集系统日志(实践Rsyslog) kibana上查看日志 获取指定索引详细信息： 如果日后需要删除索引的话，使用以下命令可以删除指定索引： es与logstash能够正常通信后就可以去配置kibana了，浏览器访问192.168.1.17:5601，到kibana页面上配置索引： logstash收集nginx日志实战 和收集syslog一样，首先需要编辑配置文件，这一步在logstash服务器上完成 检测配置文件是否有错 进入nginx虚拟主机配置文件所在的目录中，新建一个虚拟主机配置文件： 重启logstash服务，生成nginx日志的索引： 那么这时就可以到kibana上配置该索引 使用beats采集日志 安装完成之后编辑配置文件： 测试可以正常收集日志数据，再次修改配置文件，将filebeat作为一个服务启动：

Python 13：程序：堡垒机开发 1、需求 2、表结构 3、readme 4、目录结构 5、代码 6、测试样图 一、需求 功能需求: 1、所有的用户操作日志要保留在数据库中（先存到redis中防止数据断线丢失） 2、每个用户登录堡垒机后，只需要选择具体要访问的设置，就连接上了，不需要再输入目标机器的访问密码 3、允许用户对不同的目标设备有不同的访问权限，例: 　　1、对192.168.1.113有mysql 用户的权限 　　2、对192.168.1.105有root用户的权限 　　3、对192.168.1.100没任何权限 4、分组管理，即可以对设置进行分组，允许用户访问某组机器，但对组里的不同机器依然有不同的访问权限　 二、表结构 三、readme 1 作者:zz 2 版本: 堡垒机 示例版本 v0.1 3 开发环境: python3.6 4 5 程序介绍 6 1、所有的用户操作日志要保留在数据库中（先存到redis中防止数据断线丢失） 7 2、每个用户登录堡垒机后，只需要选择具体要访问的设置，就连接上了，不需要再输入目标机器的访问密码 8 3、允许用户对不同的目标设备有不同的访问权限，例: 9 　　1、对192.168.1.113有mysql 用户的权限 10 　　2、对192.168.1.105有root用户的权限 11 　　3、对192.168.1.100没任何权限

源码安装mysql yum install ncurses-devel libaio-devel -y mkdir /server/tools -p cd /server/tools wget https://cmake.org/files/v2.8/cmake-2.8.8.tar.gz tar xf cmake-2.8.8.tar.gz cd cmake-2.8.8 ./configure gmake gmake install which cmake /usr/local/bin/cmake cd .. useradd -s /sbin/nologin -M mysql wget https://downloads.mysql.com/archives/get/file/mysql-5.5.49.tar.gz tar xf mysql-5.5.49.tar.gz cd mysql-5.5.49 cmake . -DCMAKE_INSTALL_PREFIX=/application/mysql-5.5.49 \ -DMYSQL_DATADIR=/application/mysql-5.5.49/data \ -DMYSQL_UNIX_ADDR=/application/mysql-5.5.49/tmp/mysql.sock \ -DDEFAULT_CHARSET=utf8 \

各种文件 参数文件：配置文件 日志文件 错误日志 二进制日志 慢查询日志 查询日志 socket 文件： UNIX 套接字连接文件 pid 文件： MySQL 实例进程号 表结构文件： MySQL 表结构定义文件 存储引擎文件：各种引擎的记录和索引 参数文件 my.cnf 就是配置文件，但不是全部参数都一定只能在 my.cnf 中进行配置。 类型 静态参数 静态参数只能在 my.cnf 中进行配置，或者采取编译时设置的默认值。一旦服务启动加载，就不可以修改。 例如： datadir 。 如果手动修改，会报错。 动态参数 动态参数指的是在服务运行过程当中，可以手动进行设置并生效。 生命 参数的作用范围，或者说生命周期也是不同的。甚至同一个参数，多个作用域下也可以设置不同的值。 其中，使用 @@ 进行标记，然后使用 global 或者 session 指定生命周期。 global select @@global.binlog_cache_size; session select @@session.autocommit; 多重生命 有些参数，在局部 session 和全局 global 中是可以不一致的，都有自己的用途。 查看 具体的查看方式可以分为三种 select select @@session.autocommit; show show variables like

Ⅰ、复制类型 1.1 逻辑复制 记录每次逻辑操作 主从数据库可以不一致 1.2 物理逻辑复制 记录每次对于数据页的操作 主从数据物理严格一致 基于重做日志 说明： 如果一个块(页)修改了,就把这个修改发到远端 主从两端不仅仅是数据一致,而是物理上的一致,页都是一样的 1.3 复制选型与对比 简单的主从环境,两边同样的表,space_id不用一样,只要保证数据在逻辑内容上一致,物理上不用一样。也就是说,一张表的数据一致就行,不要求这些数据对应的表空间里面内容也一致 Oracle的优势 Oracle中commit时间是平均的,MySQL却不是 MySQL中事务越大commit越慢,binlog是事务执行完commit之后才写,从而产生延时的问题,Oracle中是物理逻辑复制,块的变化实时同步到从上 MySQL的优势 做大数据,把MySQL里面的数据变化传到数据仓库平台,MySQL做起来就很方便,Oralce做起来麻烦,物理日志要去解析是解析不出来行的变化的,但是有ogg工具可以同步到hive,不过偏商业 Ⅱ、典型关系型数据库复制对比 - MySQL Oracle Data Gurad SQL Server Mirroring 类型 逻辑复制 物理逻辑复制 物理逻辑复制 优点 灵活 复制速度快 复制速度快 缺点 配置不当易出错 要求物理数据严格一致 要求物理数据严格一致 问

gunicorn部署Flask服务 作为一个Python选手，工作中需要的一些服务接口一般会用Flask来开发。 Flask非常容易上手，它自带的 app.run(host="0.0.0.0", port=7001) 用来调试非常方便，但是用于生产环境无论是处理高并发还是鲁棒性都有所欠缺，一般会配合WGSI容器来进行[生产环境的部署][1]。 小磊哥推荐了参考文章[1]中的部署方式，希望将已有的服务放到gunicorn或者Tornado中部署，并用supervisor来管理所有进程（有几个不同的服务）。 经过调研和尝试 gunicorn可以结合gevent来进行部署，因此在高并发场景下也可适用，于是决定采用gunicorn进行部署。 gunicorn和supervisor会有一定的冲突，即使gunicorn中没有设置为后台启动，supervisor也只会管理gunicorn的master进程； supervisor的重启服务对于无响应的Flask进程来说并不生效，不能很好地解决我的服务由于某些原因无法正常响应但又找不到方法解决的问题，因此暂时决定不用supervisor。 环境安装 首先pip安装gunicorn。 pip install gunicorn --user Tips. pip --user用法 由于是部署在公司云主机上，通常不会给root权限。之前都是提工单给SA