log文件

安装nginx_lua_module以及echo-nginx-module收集日志

久未见 提交于 2019-11-30 12:22:56
unknown directive "access_by_lua" unknown directive "set_unescape_uri" 之所以报错是缺少nginx的三方插件,下面介绍安装nginx的第三方插件,插件很多直介绍三个 方式一: 下载 ngx_openresty ,该集成包中有: Nginx , Lua 或 Luajit , ngx_lua ,以及一些有用的 Nginx 第三方模块。 安装步骤: ./configure --with-luajit make make install 安装完成,个人建议第一种安装方便简单,另外这个版本还提供了很多的组件,安装不会出现错误。 方式二: Ngx_lua手动编译进Nginx。 首先,我的 Nginx 安装路径为:/usr/local/nginx。 我将尝试编译的两个模块:echo,lua。 所需要的模块如下: liujit http://luajit.org lua http://www.lua.org ngx_devel_kit https://github.com/simpl/ngx_devel_kit echo-nginx-module https://github.com/agentzh/echo-nginx-module lua-nginx-module https://github.com/chaoslawful

【10】MySQL:MyCAT 分布式架构

人盡茶涼 提交于 2019-11-30 10:20:15
写在前面的话 在学习的索引的时候,有提到,当数据表数据达到 800W 的时候,索引的性能就开始逐步下降。对于一个公司而言,主要业务数据表达到 1000W 都很容易。同时这张表一般都是业务常用的表,操作还比较频繁。所以为了提升用户体验,需要采用另外的方式对数据库进行优化,那就是分库分表。而 MyCAT 就是能够帮助我们管理分库分表的这样一个中间件。 MyCAT 环境基础架构准备 架构图 1: 架构图 2: 【1】搭建基础环境: 1. 在 db01 :192.168.100.111 上面安装数据库多实例: # 创建基础目录 mkdir -p /data/{data,logs,backup,conf}/mysql-33{07,08,09,10} mkdir -p /data/logs/mysql-33{07,08,09,10}/{bin-log,slow-log,error-log,relay-log} mkdir -p /data/packages/mysql mkdir -p /data/services # 添加用户 useradd -s /sbin/nologin mysql # 修改目录权限 chown -R mysql.mysql /data/logs/mysql-33* chown -R mysql.mysql /data/data/mysql-33* # 清理默认配置文件

第二章 Nginx服务器的安装部署(续)

偶尔善良 提交于 2019-11-30 09:28:49
概述:接着上一节 获取Nginx服务器安装文件的路径 nginx服务器安装部署之前的准备工作 Windows平台下nignx服务器的安装部署 Linux平台下Nignx服务器的编译和安装 认识Nginx服务器的配置文件,以及如何进行基本配置 初步学习通过优化Nginx配置,提高Nginx服务器的性能 展示一个Nginx配置的完整实例 2.4、Nginx服务器基础配置指令 找安装配置文件, 安装目录根目录/conf/nginx.conf (这里取消注释部分) worker_processes 1; #全局生效 events { worker_connections 1024; #在Events部分中生效 } http { include mime.types; #以下指令在http部分中生效 default_type application/octet-stream; sendfile on; keepalive_timeout 65; server { listen 80; #以下指令在http的server部分中生效 server_name localhost; location / { #以下指令在 http/server的location中生效 root html; index index.html index.htm; } error_page 500 502 503

Nginx日志配置

▼魔方 西西 提交于 2019-11-30 07:46:43
文章原创于公众号:程序猿周先森。本平台不定时更新,喜欢我的文章,欢迎关注我的微信公众号。 众所周知,线上如果出现事故我们通常都是查看日志去进行问题定位并且进行修复。使用好Nginx日志有利于我们线上进行修复异常问题。在Nginx中日志主要分为两种:access_log(访问日志)和error_log(错误日志)。通过查看access_log我们可以查看用户ip,浏览器信息及请求时间等信息,通过查看error_log我们可以查看线上出错的具体信息,可以帮助我们定位异常的原因。本篇文章主要带领大家详细了解Nginx如何配置日志。本文将会涉及到的日志配置指令: access_log log_format open_log_file_cache log_not_found log_subrequest rewrite_log error_log access_log指令 首先,我们可以先看看access_log指令。access_log命令可以配置访问日志。我们可以先看下access_log指令的语法结构: access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]]; # 设置访问日志 access_log off; # 关闭访问日志 我们先来看看语法结构中的参数的含义: path:

文章

元气小坏坏 提交于 2019-11-30 06:35:11
对日志文件中的error进行监控,当日志文件中出现error关键字时,就截取日志 (grep -i error 不区分大小写进行搜索"error"关键字,但是会将包含error大小写字符的单词搜索出来), 大家可以去看这编 文章 1)第一类日志 在每天的日志目录下生产的error日志,此日志文件每天都会自动生成,里面有没有error日志内容不一定,日志内容写入不频繁,日志文件比较小。 举例说明: 采用sendemail发送告警邮件,sendemail安装参考:http: //www .cnblogs.com /kevingrace/p/5961861 .html 监控脚本路径: [root@fk-databus01 ~]# cd /opt/log_error_script/ [root@fk-databus01 log_error_script]# ll total 20 -rw-r--r-- 1 root root 3782 Jun 29 12:13 DEJ_0001_error.log -rwxr-xr-x 1 root root 4274 Jun 29 11:38 prcc_log_error.sh -rwxr-xr-x 1 root root 1142 Feb 13 10:51 sendemail.sh 监控脚本内容 [root@fk-databus01 log_error

Nginx主配置文件说明

走远了吗. 提交于 2019-11-30 06:29:38
#运行用户 user nobody; #启动进程,通常设置成和cpu的数量相等 worker_processes 1; #全局错误日志及PID文件 #error_log logs/error.log; #error_log logs/error.log notice; #error_log logs/error.log info; #pid logs/nginx.pid; #工作模式及连接数上限 events { #epoll是多路复用IO(I/O Multiplexing)中的一种方式, #仅用于linux2.6以上内核,可以大大提高nginx的性能 use epoll; #单个后台worker process进程的最大并发链接数 worker_connections 1024; # 并发总数是 worker_processes 和 worker_connections 的乘积 # 即 max_clients = worker_processes * worker_connections # 在设置了反向代理的情况下,max_clients = worker_processes * worker_connections / 4 为什么 # 为什么上面反向代理要除以4,应该说是一个经验值 # 根据以上条件,正常情况下的Nginx Server可以应付的最大连接数为:4 * 8000

python自动化—配置文件的使用

一笑奈何 提交于 2019-11-30 06:19:16
一、什么是配置文件? 配置文件示例   [mysql] default-character-set = utf8 [mysqld] port = 3306 basedir = c:\mysql-5.7.25-winx64\mysql-5.7.25-winx64 daradir = c:\mysql-5.7.25-winx64\mysql-5.7.25-winx64\data max_connections = 200 character-set-server = utf8 default-storage-engine = INNODB explicit_defaults_for_timestamp = true 为什么要做配置文件?   所有的代码和配置都变成模块化可配置化,这样就提高了代码的复用性,不用每次都去修改代码内部。 场景举例    1、多处地方需要使用同一个参数,这时候最好是配置化,这样改一处就可以了    2、如果是经常变化的变量,我们也可以做这个配置。---> 与参数化要区分开来 python中常见的配置文件格式    .ini、.conf、.cfg结尾的文件 配置对象 section option 二、ConfigParser模块 掌握一些比较基础的用法:跟file文件一样,要先打开才能进行读取操作 实例化ConfigParse对象:cf =

logging日志模块

人走茶凉 提交于 2019-11-30 05:47:40
一.logging模块日志级别介绍 日志一共分为5个等级,从低到高分别是: 级别 说明 DEBUG 输出详细的运行情况,主要用于调试。 INFO 确认一切按预期运行,一般用于输出重要运行情况。 WARNING 系统运行时出现未知的事情(如:警告内存空间不足),但是软件还可以继续运行,可能以后运行时会出现问题。 ERROR 系统运行时发生了错误,但是还可以继续运行。 CRITICAL 一个严重的错误,表明程序本身可能无法继续运行。 这5个等级,也分别对应5种打印日志的方法:debug、info、warning、error、critical。默认的日志收集器是收集WARNING以上等级的日志。 import logging #日志收集器 #默认的日志收集器是root,默认收集WARNING以上等级的日志。 logging.debug("这是debug等级的日志信息") logging.info("这是info等级的日志信息") logging.warning("这是warning等级的日志信息") logging.error("这是error等级的日志信息") logging.critical("这是critical等级的日志信息") 二、日志收集器 import logging #创建自己的日志收集器 my_log = logging.getLogger("my_log")

java日志组件介绍(common-logging,log4j,slf4j,logback)

百般思念 提交于 2019-11-30 04:55:10
common-logging common-logging是apache提供的一个通用的日志接口。用户可以自由选择第三方的日志组件作为具体实现,像log4j,或者jdk自带的logging, common-logging会通过动态查找的机制,在程序运行时自动找出真正使用的日志库。当然,common-logging内部有一个Simple logger的简单实现,但是功能很弱。所以使用common-logging,通常都是配合着log4j来使用。使用它的好处就是,代码依赖是common-logging而非log4j, 避免了和具体的日志方案直接耦合,在有必要时,可以更改日志实现的第三方库。 使用common-logging的常见代码: 1 2 3 4 5 6 import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; public class A { private static Log logger = LogFactory.getLog(this.getClass()); } 动态查找原理:Log 是一个接口声明。LogFactory 的内部会去装载具体的日志系统,并获得实现该Log 接口的实现类。LogFactory 内部装载日志系统的流程如下: 首先,寻找org

contab路径问题(脚本调用另一个文件)

人走茶凉 提交于 2019-11-30 04:20:27
问题描述 当在定时任务里,要执行一个脚本A,然后A脚本需要调用另一个文件B,此时定时任务执行不成功,会报错找不到文件 解决办法 先cd到放执行脚本的路径,这样就在定时任务的脚本里可以调用相对路径下的文件了 */1 * * * * cd /data/lile; /usr/bin/python3 monthly.py >/var/log/monthly_log 2>&1 来源: https://www.cnblogs.com/lemon-le/p/11558990.html