log文件

深入理解Kafka必知必会（1） Kafka目前有哪些内部topic，它们都有什么特征？各自的作用又是什么？ __consumer_offsets：作用是保存 Kafka 消费者的位移信息 __transaction_state：用来存储事务日志消息 优先副本是什么？它有什么特殊的作用？ 所谓的优先副本是指在AR集合列表中的第一个副本。 理想情况下，优先副本就是该分区的leader 副本，所以也可以称之为 preferred leader。Kafka 要确保所有主题的优先副本在 Kafka 集群中均匀分布，这样就保证了所有分区的 leader 均衡分布。以此来促进集群的负载均衡，这一行为也可以称为“分区平衡”。 Kafka有哪几处地方有分区分配的概念？简述大致的过程及原理 生产者的分区分配是指为每条消息指定其所要发往的分区。可以编写一个具体的类实现org.apache.kafka.clients.producer.Partitioner接口。 消费者中的分区分配是指为消费者指定其可以消费消息的分区。Kafka 提供了消费者客户端参数 partition.assignment.strategy 来设置消费者与订阅主题之间的分区分配策略。 分区副本的分配是指为集群制定创建主题时的分区副本分配方案，即在哪个 broker 中创建哪些分区的副本。kafka-topics.sh

http://www.aboutyun.com/thread-7778-1-1.html 问题导读： 1.job的本质是什么？ 2.任务的本质是什么？ 3.文件系统的Namespace由谁来管理，Namespace的作用是什么？ 4.Namespace 镜像文件(Namespace image)和操作日志文件(edit log)文件的作用是什么？ 5.Namenode记录着每个文件中各个块所在的数据节点的位置信息，但是他并不持久化存储这些信息，为什么？ 6.客户端读写某个数据时，是否通过NameNode？ 7.namenode，datanode，Namespace image，Edit log之间的关系是什么？ 8.一旦某个task失败了，JobTracker如何处理？ 9.JobClient JobClient在获取了JobTracker为Job分配的id之后，会在JobTracker的系统目录(HDFS)下为该Job创建一个单独的目录，目录的名字即是Job的id，该目录下 会包含文件job.xml、job.jar等文件，这两个文件的作用是什么？ 10.JobTracker根据什么就能得到这个Job目录？ 11.JobTracker提交作业之前，为什么要检查内存？ 12.每个TaskTracker产生多个java 虚拟机（JVM）的原因是什么？ 概述：

简单介绍 备份类型 备份方式 热备份：备份期间不需要服务停机，业务不受影响； 温备份：备份期间仅允许读的请求； 冷备份：备份期间需要关闭 Mysql 服务或读写请求都不受影响； 完全备份： full backup 备份全部数据集； 增量备份： incrementalbackup 上次完全备份或增量备份以来改变的数据； 差异备份： differentialbackup 上次完全备份以来改变的数据； 完全 + 增量 备份方式恢复用到的备份文件： 完全备份 + 增量备份 + 二进制文件； 完全+差异备份方式恢复用到的备份文件：完全备份+增量备份+二进制文件； 逻辑备份 优点 缺点 逻辑备份可以使用编辑器或文本处理工具进行编辑或查看； 恢复非常简单； 比较灵活； 与存储引擎无关； 有助于避免数据损坏； 逻辑备份可以使用编辑器或文本处理工具进行编辑或查看； 恢复非常简单； 比较灵活； 与存储引擎无关； 有助于避免数据损坏； 物理备份 优点 缺点 备份与恢复数据比较简单； InnoDB 与 MyISAM 的物理备份容易跨平台、操作系统和 Mysql 版本； 恢复速度比较快，不需要重新构建索引； InnoDB 的原始文件会比逻辑备份大得多； 物理备份不是总可以跨平台、操作系统及 Mysql 版本； 文件名大小写敏感和浮点格式有可能会有问题 备份对象： 数据文件、配置文件、代码：存储过程，存储函数

主从复制的原理： 分为同步复制和异步复制，实际复制架构中大部分为异步复制。 复制的基本过程如下： 1).Slave上面的IO进程连接上Master，并请求从指定日志文件的指定位置（或者从最开始的日志）之后的日志内容； 2).Master接收到来自Slave的IO进程的请求后，通过负责复制的IO进程根据请求信息读取制定日志指定位置之后的日志信息，返回给Slave 的IO进程。返回信息中除了日志所包含的信息之外，还包括本次返回的信息已经到Master端的bin-log文件的名称以及bin-log的位置； 3).Slave的IO进程接收到信息后，将接收到的日志内容依次添加到Slave端的relay-log文件的最末端，并将读取到的Master端的 bin-log的文件名和位置记录到master-info文件中，以便在下一次读取的时候能够清楚的告诉Master“我需要从某个bin-log的哪个位置开始往后的日志内容，请发给我”； 4).Slave的Sql进程检测到relay-log中新增加了内容后，会马上解析relay-log的内容成为在Master端真实执行时候的那些可执行的内容，并在自身执行。 环境描述 操作系统：CentOS6.3_x64 主服务器master：192.168.0.202 从服务器slave：192.168.0.203 一、mysql主从复制 1、主从安装mysql

Linux基础与基本配置 常用指令 cd /etc:进入目录，ll:显示目录详细列表，ls:显示目录所有文件和子目录，pwd:显示当前目录路径，date:修改日期时间，top:看CPU情况，mkdir:创建目录，vi index.html创建/修改文件，cat index.html查看文件，tail –n 10 index.html:查看文件最后10行，yum –y install php:安装php, yum –y remove php:卸载PHP，find / -name index.html:名字查找文件，whereis php。 echo “” > filename /usr/local/nginx/sbin/nginx -s reload systemctl stop php-fpm.service /etc/init.d/php-fpm restart service firewalld stop //关闭Centos 7防火墙 dstat -nt //查看网络 netstat -an |grep ^tcp.*:80|egrep -v 'LISTEN|127.0.0.1'|awk -F"[ ]+|[:]" '{print $6}'|sort|uniq -c|sort -rn|awk '{if ($1>20){print $2}}' 查服务器单IP并发 netstat

PHP的错误机制也是非常复杂的，做了几年php，也没有仔细总结过，现在就补上这一课。 特别说明：文章的PHP版本使用5.5.32 PHP的错误级别 首先需要了解php有哪些错误。截至到php5.5，一共有 16个错误级别 注意：尝试下面的代码的时候请确保打开error_log: error_reporting(E_ALL); ini_set('display_errors', 'On'); E_ERROR 这种错误是致命错误，会在页面显示Fatal Error， 当出现这种错误的时候，程序就无法继续执行下去了 错误示例： // Fatal error: Call to undefined function hpinfo() in /tmp/php/index.php on line 5 hpinfo(); //E_ERROR 注意，如果有未被捕获的异常，也是会触发这个级别的。 // Fatal error: Uncaught exception 'Exception' with message 'test exception' in /tmp/php/index.php:5 Stack trace: #0 {main} thrown in /tmp/php/index.php on line 5 throw new \Exception("test exception"); E

安装linux和安装虚拟机略过,直接进行环境的安装 1,安装JDK java环境变量: 系统变量: /etc/profile 用户环境变量: .bash_profile(当前用户的profile) 将文件上传到root文件夹下 tar -zxvf jdk-8u171-linux-x64.tar.gz(解压) 此次用的是解压包的方式进行配置, 还可以通过rpm(类似于java的.exe文件),还是需要配置,通过搜索安装文件在10中可以看到,在环境变量中配置 yum安装,自动化配置,什么都不用做,只需要执行命令,直接用 mv jdk1.8.0_171/ /usr(移动到usr文件夹下) vim .bash_profile(配置环境变量) source .bash_profile(刷新配置) 1 export JAVA_HOME=/usr/jdk1.8.0_171 2 export PATH=$JAVA_HOME/bin:$PATH 点击查看java环境配置 然后用java或者javac测试一下配置是否成功 查询一下java安装的位置,以方便后期进行卸载软件 1 [root@localhost ~]# find / -name "java" 2 /etc/pki/ca-trust/extracted/java 3 /etc/pki/java 4 /usr/jdk1.8.0_171/bin

centos7.6使用 supervisor 对filebeat7.3.1进程进行管理 Supervisor 是一个 Python 开发的 client/server 系统，可以管理和监控类 UNIX 操作系统上面的进程。它可以同时启动、关闭多个进程，使用起来比较方便。 组成部分 supervisor 主要由两部分组成： supervisord(server 部分)：主要负责管理子进程，响应客户端命令以及日志的输出等； supervisorctl(client 部分)：命令行客户端，用户可以通过它与不同的 supervisord 进程联系，获取子进程的状态等。 1.安装pip和supervisor yum install -y python-pip pip install supervisor 2.创建配置目录： mkdir -p /etc/supervisor/conf.d 安装完成之后，可以运行 echo_supervisord_conf 生成默认的配置文件： echo_supervisord_conf > /etc/supervisor/supervisord.conf 修改配置 编辑 /etc/supervisor/supervisord.conf 里 include 部分 [include] files = /etc/supervisord/conf.d/*.conf #

0、引言 MySQL主从复制的原理及搭建，故障分析 一、MySQL 主从同步的架构及原理 原理： 1）Slave连接到master，主从数据一致，开启同步，开始同步数据 2） 用户在主上写入数据，日志储存到binlog，master上IO thread读取主库binlog，然后把信息传递给从库上的IO thread 3）从库上的IO thread再把部分信息存储在master.info（存储连接位置信息）和relay log里（存储binlog信息） 4）从库上的SQL thread监测到relay log有更新，把更新的信息恢复到从库，然后把位置点信息记录下来 二、MySQL 实现主从同步的几种方式及使用价值 1、MySQL主从复制的几种实现方式 l 基于binlog+position的传统复制 l 基于事务的GTID复制 l 多源复制 l Group replication（5.7新特性） l 半同步 2、MySQL主从复制的使用价值 l 利用从库做高可用 l 利用从库做读写分离 l 利用从库做升级 三、MySQL 基于binlog 三种模式下的复制 1、基于statement格式的复制 优点：binlog文件小，节省磁盘IO，只记录执行的SQL，方便阅读统计 缺点：对MySQL特殊函数不能复制，可能会导致主从不一致 2、基于row格式的复制 优点：详细记录每一行的修改信息

Zookeeper是一个高可用的分布式数据管理与协调框架，该框架能很好地保证分布式环境中数据一致性。一般用来实现服务发现(类似DNS)，配置管理，分布式锁，leader选举等。 一、生产环境中Zookeeper安装部署规范 生产环境建议zookeeper至少为三台集群，统一安装配置，版本号为近期新版本，比如版本为3.4.8 部署路径：/opt/业务模块名/zookeeper 配置文件：/opt/业务模块名/zookeeper/conf/zoo.cfg 存储快照文件snapshot的目录：/opt/业务模块名/zookeeper/data 事务日志输出目录：/var/log/业务模块名/zookeeper 运行日志输出目录：/var/log/业务模块名/zookeeper Zookeeper所有端口需要提前开通防火墙入站规则 对外服务端口：默认2181，可自定义 通信端口：2888，可自定义 选举端口：3888，可自定义 autoperge默认关闭，建议自行编写脚本在业务低谷期清理快照和事务日志 查询状态：sh /opt/业务模块名/zookeeper/zkServer.sh status 启动服务：sh /opt/业务模块名/zookeeper/zkServer.sh start 停止服务：sh /opt/业务模块名/zookeeper/zkServer.sh stop