log文件

认识Beats Beats是用于单用途数据托运人的平台。它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。 （画外音：通俗地理解，就是 采集数据 ，并 上报 到Logstash或Elasticsearch） Beats对于收集数据非常有用。它们位于你的服务器上，将数据集中在Elasticsearch中，Beats也可以发送到Logstash来进行转换和解析。 为了捕捉（捕获）数据，Elastic提供了各种Beants： Beats可以直接（或者通过Logstash）将数据发送到Elasticsearch，在那里你可以进一步处理和增强数据，然后在Kibana中将其可视化。 Filebeat 第1步：安装Filebeat 第2步：配置Filebeat 配置文件：filebeat.yml 为了配置Filebeat： 1. 定义日志文件路径 对于最基本的Filebeat配置，你可以使用单个路径。例如： filebeat.inputs: - type: log enabled: true paths: - /var/log/*.log 在这个例子中，获取在/var/log/*.log路径下的所有文件作为输入，这就意味着Filebeat将获取/var/log目录下所有以.log结尾的文件。 为了从预定义的子目录级别下抓取所有文件

[client] 客户端设置，即客户端默认的连接参数 port = 3306 默认连接端口 socket = /usr/local/mysql/data/mysql.sock 用于本地连接的socket套接字 default-character-set = utf8mb4 编码 [mysqld] 服务端基本设置 port = 3306 MySQL监听端口 socket = /usr/local/mysql/data/mysql.sock 为MySQL客户端程序和服务器之间的本地通讯指定一个套接字文件 pid-file = /usr/local/mysql/data/mysql.pid pid文件所在目录 basedir = /usr/local/mysql 使用该目录作为根目录（安装目录） datadir = /usr/local/mysql/database 数据文件存放的目录 tmpdir = /usr/local/mysql/data/tmp MySQL存放临时文件的目录 character_set_server = utf8mb4 服务端默认编码（数据库级别） collation_server = utf8mb4_bin 服务端默认的比对规则，排序规则 user = root MySQL启动用户。如果是root用户就配置root，mysql用户就配置mysql log

1、搭建mysql服务器，并实现主主复制、半同步复制 存储引擎： 表类型：也称为“表类型”，表级别概念，不建议在同一个库中的表上使用不同的ENGINE； CREATE TABLE ... ENGINE[=]STORAGE_ENGINE_NAME ... SHOW TABLE STATUS 常见的存储引擎： MyISAM, Aria, InnoDB, MRG_MYISAM, CSV, BLACKHOLE, MEMORY, PERFORMANCE_SCHEMA, ARCHIVE, FEDERATED InnoDB：InnoBase Percona-XtraDB, Supports transactions, row-level locking, and foreign keys 数据存储于“表空间(table space)"中： (1) 所有数据库中的所有类型为InnoDB的表的数据和索引存储于同一个表空间中； 表空间文件：datadir定义的目录中 文件：ibdata1, ibdata2, ... (2) innodb_file_per_table=ON，意味着每表使用单独的表空间文件； 每表的数据文件（数据和索引，存储于数据库目录）存储于自己专用的表空间文件中，并存储于数据库目录下: tbl_name.ibd 表结构的定义：在数据库目录，tbl_name.frm 事务型存储引擎

1、添加tomcat监控模版 yum install java-1.8.0-openjdk tomcat-webapps tomcat-admin-webapps tomcat-docs-webapp -y #在被监控节点安装tomcat包 与jmx接口通信需要使用特定的客户端，还需要在其他节点或者主节点安装一个特定的客户端组件zabbix-gateway，这里在主节点直接安装上 yum install zabbix-java-gateway -y 在主节点安装 systemctl start zabbix-java-gateway #启动服务 修改主节点配置文件，加入JavaGateway的地址端口及进程数 修改tomcat配置文件支持jmx CATALINA_OPTS="-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.manageme nt.jmxremote.port=12345 -Dcom.sun.management.jmxremote.ssh=false -Dcom.sun.management.jmxremote.ssl=false -Djava.rm i.server.hostname=192.168.1.197" 添加jmx主机

Mysql系列的目标是：通过这个系列从入门到全面掌握一个高级开发所需要的全部技能。 欢迎大家加我微信itsoku一起交流java、算法、数据库相关技术。 这是Mysql系列第27篇。 本篇文章我们先来看一下mysql是如何确保数据不丢失的，通过本文我们可以了解mysql内部确保数据不丢失的原理，学习里面优秀的设计要点，然后我们再借鉴这些优秀的设计要点进行实践应用，加深理解。 预备知识 mysql内部是使用b+树的结构将数据存储在磁盘中，b+树中节点对应mysql中的页，mysql和磁盘交互的最小单位为页，页默认情况下为16kb，表中的数据记录存储在b+树的叶子节点中，当我们需要修改、删除、插入数据时，都需要按照页来对磁盘进行操作。 磁盘顺序写比随机写效率要高很多，通常我们使用的是机械硬盘，机械硬盘写数据的时候涉及磁盘寻道、磁盘旋转寻址、数据写入的时间，耗时比较长，如果是顺序写，省去了寻道和磁盘旋转的时间，效率会高几个数量级。 内存中数据读写操作比磁盘中数据读写操作速度高好多个数量级。 mysql确保数据不丢失原理分析 我们来思考一下，下面这条语句的执行过程是什么样的： start transaction; update t_user set name = '路人甲Java' where user_id = 666; commit; 按照正常的思路，通常过程如下： 找到user_id

ORACLE定时备份方案 采用ORACLE的EXP工具，实现ORACLE的备份；采用LINUX的服务crond实现定时功能。 1 编辑SH，实现备份功能 #vi oracle_backup.sh，输入以下内容 #!/bin/sh ORACLE_BACKUP_HOME=/home/oracle/backup #定义ORACLE备份根目录 BACKUP_DATA=$ORACLE_BACKUP_HOME/day #定义ORACLE备份数据文件根目录 BACKUP_LOG=$BACKUP_DATA/log #定义ORACLE备份日志文件根目录 export ORACLE_BACKUP_HOME BACKUP_DATA BACKUP_LOG DATA_FILE_NAME=data_backup #定义ORACLE备份日志文件名字前缀 LOG_FILE_NAME=log_backup #定义ORACLE备份日志文件名字前缀 export DATA_FILE_NAME LOG_FILE_NAME BACKUP_AMOUNT=4 #定义ORACLE备份文件保存数量 export BACKUP_AMOUNT datafile_amount=$(find $BACKUP_DATA -type f -name $DATA_FILE_NAME'_'*.dmp|wc -l)

MySQL主从复制的类型 基于语句的复制（默认） 在主服务器上执行的语句，从服务器执行同样的语句 基于行的复制 把改变的内容复制到从服务器 混合类型的复制 一旦发现基于语句无法精确复制时，就会采用基于行的复制 主从复制的工作过程 MySQL读写分离原理 读写分离就是只在主服务器上写，只在从服务器上读 主数据库处理事务性查询，从而数据库处理select查询 数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库 实验环境 amoeba服务器（192.168.142.160） master服务器（192.168.142.151） slave1服务器 （192.168.142.163） slave2服务器 （192.168.142.145） client客户端 （192.168.142.143） 1，在master服务器上安装ntp时间服务器 [root@ameoba ~]# yum install ntp -y ##安装时间服务器 [root@master1 ~]# vim /etc/ntp.conf ##在server下添加 server 127.127.13.0 ##本地是时间源 fudge 127.127.13.0 stratum 8 ##设置时间层级为8 [root@master1 ~]# systemctl start ntpd ##启动时间服务 [root

实验环境 Linux CentOS7虚拟机（IP：192.168.52.132） win10虚拟机（作为测试机） 1、安装Nginx和bind服务 [root@localhost ~]# rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm 获取http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm 警告：/var/tmp/rpm-tmp.PtKluI: 头V4 RSA/SHA1 Signature, 密钥 ID 7bd9bf62: NOKEY 准备中... ################################# [100%] 正在升级/安装... 1:nginx-release-centos-7-0.el7.ngx ################################# [100%] [root@localhost ~]# yum install nginx bind -y ..........//省略安装过程 2、修改主配置文件named.conf [root@localhost

1、基础环境介绍 1.1软件环境 操作系统：redhat linux 6.3 Mysql版本：Mysql 5.6.24 1.2磁盘目录规划 序号 目录 用途 1 /opt/mysql/mysql-5.6.24 mysql主程序安装目录 2 /data/mysql/mysql_5624/{data,tmp,logs} 存放数据文件、临时文件、日志文件，5624代表为5.6.24版本号 2、linux环境调整优化 2.1 关闭NUMA 编辑/etc/grub.conf文件，在kernel后面增加 numa=offelevator=deadline 2.2 关闭selinux 编辑/etc/selinux/config文件，在最后面增加SELINUX=disabled 2.3 修改unlimit参数 编辑/etc/security/limits.conf文件，增加下面四行信息： root soft nofile 65535 root hard nofile 65535 root soft nproc 7000 root hard nproc 7000 2.4 关闭iptables #service iptables stop #/etc/init.d/iptables stop #chkconfig iptables off 2.5 修改环境变量 #Vi .bash_profile

MySQL多实例安装配置 什么是MySQL多实例？ 多实例就是在一台机器上开启多个不同服务端口，运行多个MySQL服务进程，这些服务通过进程通过不同饿socket监听不同的服务端口来提供各自的服务 这些MySQL多实例是公用一套MySQL安装程序，使用不同的my.conf配置文件，启动文件，数据文件。在提供服务同时，多实例MySQL在逻辑上看来就是各自独立的。但是他们是公用资源，所以会有影响。 多实例的作用与问题 1、 有效的利用服务器资源 当单个服务器资源有剩余时，可以充分利用剩余资源提供更多服务。 2、 节约服务器资源 当资金紧张但是数据库又需要各自尽量独立提供给服务，而且需要主从同步等技术时，多实例就很适合 3、 资源互相抢占问题 当某个服务实例并发很高或者有慢查询时，整个实例就会消耗更多的内存、CPU、磁盘io资源，导致服务器上其他实例提供服务的质量下降。这就相当于大家住在一个房子里，做一件事，其他人就需要等待 MySQL配置方案 多配置文件部署方案 通过配置多个配置文件及多个启动程序来实现多实例的方案； 以端口形式划分，3306，3307端口创建实例目录，每个目录下都有各自的实例的数据文件（data），实例的配置文件（my.conf），实例的启动文件（mysql） 单一配置文件部署方案 mysqld_multi 缺点，耦合性太高 安装多实例的数据库