log文件

my.ini的配置参数详解,以及binlog的三种模式

一曲冷凌霜 提交于 2019-12-13 15:48:35
先点赞,后观看,伸手才有好习惯 my.ini配置详解 【转载】 #*** client options 相关选项 ***# #以下选项会被MySQL客户端应用读取。注意只有MySQL附带的客户端应用程序保证可以读取这段内容。如果你想你自己的MySQL应用程序获取这些值。需要在MySQL客户端库初始化的时候指定这些选项。 [client] port = 3309 socket = /usr/local/mysql/tmp/mysql.sock [mysqld] !include /usr/local/mysql/etc/mysqld.cnf #包含的配置文件 ,把用户名,密码文件单独存放 port = 3309 bind-address = 0.0.0.0 server-id = 1 #表示是本机的序号为1,唯一 socket = /usr/local/mysql/tmp/mysql.sock pid-file = /usr/local/mysql/var/mysql.pid basedir = /usr/local/mysql/ datadir = /usr/local/mysql/var/ tmpdir = /usr/local/mysql/tmp/ #此目录被 MySQL用来保存临时文件.例如,它被用来处理基于磁盘的大型排序,和内部排序一样,以及简单的临时表

MySQL-配置文件my.cnf参数优化详解

这一生的挚爱 提交于 2019-12-13 15:21:46
MySQL-配置文件my.cnf参数优化详解 [client] ######################################################################### # # # MySQL客户端配置 # # # ######################################################################### port = 3306 # MySQL客户端默认端口号 socket = /data/mysql/my3306/mysql.sock # 用于本地连接的Unix套接字文件存放路径 default-character-set = utf8mb4 # MySQL客户端默认字符集 [mysql] ######################################################################### # # # MySQL命令行配置 # # # ######################################################################### auto-rehash # 开启tab补齐功能 socket = /data/mysql/my3306/mysql.sock #

log-anomaly-detector (LAD)

旧城冷巷雨未停 提交于 2019-12-13 05:40:45
log-anomaly-detector (LAD) LAD是Red hat 开发的,一个基于机器学习的Log日志异常检测命令行工具 文章目录 log-anomaly-detector (LAD) 1. 安装 2. 示例 Command UI Command: 3. 结构 4. Machine Learning Core Language Encoding, Word2Vec SOM 模型结构 5.Metrics Fact Store Metrics Core Metrics 6. Storage 7. demo数据格式 8. 总结 1. 安装 环境要求:python 3.6 或以上 直接安装会出错,为了避免后续的错误,需要预先安装以下几个依赖(后装的话会出错): pip install git+https://github.com/compmonks/SOMPY.git pip install ipdb pip install tornado==5.1 pip install python-dateutil==2.8.0 pip install opentracing-instrumentation==3.2.1 然后安装LAD: pip install log-anomaly-detector==0.0.2 安装需要几个小时,之前的版本使用 UI Command 时会有bug

hadoop + spark+ hive 集群搭建(apache版本)

拟墨画扇 提交于 2019-12-12 15:04:04
0. 引言 hadoop 集群,初学者顺利将它搭起来,肯定要经过很多的坑。经过一个星期的折腾,我总算将集群正常跑起来了,所以,想将集群搭建的过程整理记录,分享出来,让大家作一个参考。 由于搭建过程比较漫长,所以,这篇文章应该也会很长,希望大家能耐心看完。 1. 集群环境和版本说明 3台CentOS 7.4 的服务器,4CPU,8G内存; jdk 1.8 hadoop 2.7.7 spark 2.3.0 hive 2.1.1 节点和主机hostname对应关系: 主节点: 172.18.206.224 nn1 Namenode and YARN Resourcemanage 从节点1: 172.18.206.228 dn1 Datanode and YAR  Nodemanager 从节点2: 172.18.206.229 dn2 Datanode and YARN Nodemanager 为hadoop集群,创建一个non-root 用户,我使用的用户名是 hadoop。安装目录统一在hadoop用户的家目录 /data/hadoop 下。 2. hadoop 集群安装 2.1 安装 jdk 1.8版本 由于 hadoop 集群需要java 环境的支持,所以,在安装集群之前,首先确认你的系统是否已经安装了jdk,检查如下: [root@ND-ES-3 ~]# java

springboot使用logback

笑着哭i 提交于 2019-12-12 11:44:50
logback-spring.xml配置 首先,官方推荐使用的xml名字的格式为:logback-spring.xml而不是logback.xml,至于为什么,因为带spring后缀的可以使用这个标签。 在resource下创建logback-spring.xml文件 <?xml version="1.0" encoding="UTF-8"?> <!-- 日志级别从低到高分为TRACE < DEBUG < INFO < WARN < ERROR < FATAL,如果设置为WARN,则低于WARN的信息都不会输出 --> <!-- scan:当此属性设置为true时,配置文件如果发生改变,将会被重新加载,默认值为true --> <!-- scanPeriod:设置监测配置文件是否有修改的时间间隔,如果没有给出时间单位,默认单位是毫秒。当scan为true时,此属性生效。默认的时间间隔为1分钟。 --> <!-- debug:当此属性设置为true时,将打印出logback内部日志信息,实时查看logback运行状态。默认值为false。 --> <configuration scan="true" scanPeriod="10 seconds"> <!--<include resource="org/springframework/boot/logging/logback/base

Nignx服务基础

我是研究僧i 提交于 2019-12-11 12:16:32
一、Nginx简介; 概述:Nginx是一款由俄罗斯开发的开源的高性能HTTP服务器和反向代理服务器,同时支持IMAP/POP3/SMTP代理服务,其性能优势着为显著,官网上称:单台nginx服务器可以处理50000并发; 特点:高性能、稳定、消耗硬件资源小、能够处理大并发,主要用于静态的解析,动静页面的分离; 优势: 1.作为Web服务器,nginx处理静态文件、索引文件以及自动索引效率非常高。 2.作为代理服务器,Nginx可以实现无缓存的反向代理加速,提高网站运行速度。 3.作为负载均衡服务器,Nginx既可以在内部直接支持Rails和PHP,也可以支持HTTP代理服务器,对外进行服务。同时支持简单的容错和利用算法进行负载均衡。 二.安装nginx程序 (1)安装支持软件 Nginx的配置以及运行需要pcre、zlib等软件包的支持。 yum install gcc gcc-c++ pcre-devel zlib-devel (2)创建运行用户组 Nginx服务程序默认以nobody身份运行,建议创建专门的用户账号,以便更准确控制器访问权限,怎加灵活性,安全、降低风险。 useradd -M -s /sbin/nologin nginx (3)编译安装Nginx root@localhost opt]# cd nginx-1.12.0/ [root@localhost

Log 帮助类 队列

荒凉一梦 提交于 2019-12-11 11:56:35
队列形式 1 using System; 2 using System.Collections; 3 using System.IO; 4 using System.Text; 5 using System.Threading; 6 using System.Windows.Threading; 7 8 namespace Helper 9 { 10 /// <summary> 11 /// Log 帮助类 12 /// </summary> 13 public static class LogHelper 14 { 15 /// <summary> 16 /// log 队列 17 /// </summary> 18 private static readonly Queue LogQueue = new Queue(); 19 20 /// <summary> 21 /// 判断 file stream 是否打开,用于单例 22 /// </summary> 23 private static bool _isStreamClose = true; 24 25 /// <summary> 26 /// 用于判断日志进程是否开启 27 /// </summary> 28 private static bool _isThreadBegin = false; 29 30 ///

Oracle 11g R2之Dataguard搭建物理standby

一世执手 提交于 2019-12-11 11:38:12
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Oracle 11g R2之Dataguard搭建物理standby 数据库版本:11.2.0.4 服务器版本:RedHat6.4 主库Primary:安装数据库软件及实例 备库Standby: 仅安装数据库软件 Database DB_UNIQUE_NAME Oracle Net Service Name Primary orcl orcl Physical standby dg dg 一、搭设前主备库环境: 主库Primary: [oracle@oracle dbs]$ cat /home/oracle/.bash_profile # .bash_profile # Get the aliases and functions if [ -f ~/.bashrc ]; then . ~/.bashrc fi # User specific environment and startup programs PATH=$PATH:$HOME/bin export PATH export TMP=/tmp export TMPDIR=$TMP export ORACLE_HOSTNAME=orcl export ORACLE_UNQNAME=orcl export ORACLE_BASE=/u01/oracle

mysql5.7.23多实例安装

依然范特西╮ 提交于 2019-12-11 07:43:45
参考1:https://www.cnblogs.com/xuchenliang/p/6843990.html 参考2:https://blog.csdn.net/weixin_30480651/article/details/98952934 解压安装包 tar -zxvf mysql-5.7.20-linux-glibc2.12-x86_64.tar.gz mv mysql-5.7.20-linux-glibc2.12-x86_64 /usr/local/mysql 2.4.关闭iptables 临时关闭:service iptables stop 永久关闭:chkconfig iptables off 2.5.关闭selinux vi /etc/sysconfig/selinux 将SELINUX修改为DISABLED,即SELINUX=DISABLED 2.6.创建mysql用户 groupadd -g 27 mysql useradd -u 27 -g mysql mysql id mysql uid=501(mysql) gid=501(mysql) groups=501(mysql) 2.7.创建相关目录 mkdir -p /data/mysql/ {mysql_3306,mysql_3307} mkdir /data/mysql/mysql_3306/ {data

Filebeat的配置参考

折月煮酒 提交于 2019-12-11 00:36:08
指定要运行的模块 前提: 在运行Filebeat模块之前,需要安装并配置Elastic堆栈: 安装Ingest Node GeoIP和User Agent插件。这些插件需要捕获示例仪表板中可用的某些可视化所使用的地理位置和浏览器信息。您可以通过在Elasticsearch主路径中运行以下命令来安装这些插件: sudo bin/elasticsearch-plugin install ingest-geoip sudo bin/elasticsearch-plugin install ingest-user-agent 运行这些命令后需要重新启动Elasticsearch。 验证Elasticsearch和Kibana是否正在运行,并且Elasticsearch已准备好从Filebeat接收数据。   在modules.d目录编辑中启用模块配置     该modules.d目录包含Filebeat中可用的所有模块的默认配置。您可以modules.d通过运行 modules enable或modules disable命令启用或禁用特定模块配置。     例如,要在 目录中启用apache2和mysql配置modules.d:     /filebeat modules enable apache2 mysql     然后,当您运行Filebeat时,它会加载modules