log文件

caddy（四）Run详解 前言 平时我们使用 caddy 都是使用 它的 二进制 分发文件，我们现在来分析 caddy 的 Run 函数。 从最外层抽象的看它都做了些什么。 Caddy Run 我们来看看 Caddy Run 中引入了哪些包和操作，对 Caddy 的总体行为做一个概览 caddy/caddymain/run.go 首先看 init 函数 func init() { caddy.TrapSignals() flag.BoolVar(&certmagic.Default.Agreed, "agree", false, "Agree to the CA's Subscriber Agreement") flag.StringVar(&certmagic.Default.CA, "ca", certmagic.Default.CA, "URL to certificate authority's ACME server directory") flag.StringVar(&certmagic.Default.DefaultServerName, "default-sni", certmagic.Default.DefaultServerName, "If a ClientHello ServerName is empty, use this ServerName to

慢日志查询作用 慢日志查询的主要功能就是，记录sql语句中超过设定的时间阈值的查询语句。例如，一条查询sql语句，我们设置的阈值为1s，当这条查询语句的执行时间超过了1s，则将被写入到慢查询配置的日志中. 慢查询主要是为了我们做sql语句的优化功能. 慢日志查询配置项说明 打开mysql，通过以下命令查看相关配置： mysql> show variables like '%query%'; +------------------------------+--------------------------------------------------+ | Variable_name | Value | +------------------------------+--------------------------------------------------+ | binlog_rows_query_log_events | OFF | | ft_query_expansion_limit | 20 | | have_query_cache | NO | | long_query_time | 10.000000 | | query_alloc_block_size | 8192 | | query_prealloc_size | 8192 | | slow_query

MySQL数据库常见的日志有：错误日志（log_error）、慢查询日志（slow_query_log）、二进制日志（bin_log）、通用日志（general_log） 开启慢查询日志并分析 开启慢查询日志： set global slow_query_log=1; 在线开启。如果MySQL发生重启，就会失效，如果要永久生效，就必选修改配置文件。 slow-query-log-file：新版（5.6及以上）MySQL数据库慢查询日志存储路径。可以不设置该参数，系统则会默认给一个缺省的文件host_name-slow.log long_query_time ：慢查询时间阈值，当查询时间大于设定的阈值时，查询会被记录到慢查询日志。 set global log_queries_not_using_indexes=1;设置未走索引的查询全部进入慢查询日志 log_output：日志存储方式。log_output='FILE'表示将日志存入文件，默认值是'FILE'。log_output='TABLE'表示将日志存入数据库，这样日志信息就会被写入到mysql.slow_log表中。MySQL数据库支持同时两种日志存储方式，配置的时候以逗号隔开即可，如：log_output='FILE,TABLE'。日志记录到系统的专用日志表中，要比记录到文件耗费更多的系统资源，因此对于需要启用慢查询日志

原文：http://www.cnblogs.com/dahu-daqing/p/7040764.html 1 logging模块简介 logging模块是Python内置的标准模块，主要用于输出运行日志，可以设置输出日志的等级、日志保存路径、日志文件回滚等；相比print，具备如下优点： 可以通过设置不同的日志等级，在release版本中只输出重要信息，而不必显示大量的调试信息； print将所有信息都输出到标准输出中，严重影响开发者从标准输出中查看其它数据；logging则可以由开发者决定将信息输出到什么地方，以及怎么输出； 2 logging模块使用 2.1 基本使用 配置logging基本的设置，然后在控制台输出日志， import logging logging.basicConfig(level = logging.INFO,format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s') logger = logging.getLogger(__name__) logger.info("Start print log") logger.debug("Do something") logger.warning("Something maybe fail.") logger.info("Finish") 运行时

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ 作者简介：郑志彬，毕业于华南理工大学计算机科学与技术（双语班）。先后从事过电子商务、开放平台、移动浏览器、推荐广告和大数据、人工智能等相关开发和架构。目前在vivo智能平台中心从事 AI中台建设以及广告推荐业务。擅长各种业务形态的业务架构、平台化以及各种业务解决方案。 博客地址： http://arganzheng.life 。 背景 最近要把原来做的那套集中式日志监控系统进行迁移，原来的实现方案是: Log Agent => Log Server => ElasticSearch => Kibana，其中Log Agent和Log Server之间走的是Thrift RPC，自己实现了一个简单的负载均衡(WRB)。 原来的方案其实运行的挺好的，异步化Agent对应用性能基本没有影响。支持我们这个每天几千万PV的应用一点压力都没有。不过有个缺点就是如果错误日志暴增，Log Server这块处理不过来，会导致消息丢失。当然我们量级没有达到这个程度，而且也是可以通过引入队列缓冲一下处理。不过现在综合考虑，其实直接使用消息队列会更简单。PRC，负载均衡，负载缓冲都内建实现了。另一种方式是直接读取日志，类似于logstash或者flume的方式

本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/bV8AhqAjQp4a_iXRfobkCQ 作者简介：郑志彬，毕业于华南理工大学计算机科学与技术（双语班）。先后从事过电子商务、开放平台、移动浏览器、推荐广告和大数据、人工智能等相关开发和架构。目前在vivo智能平台中心从事 AI中台建设以及广告推荐业务。擅长各种业务形态的业务架构、平台化以及各种业务解决方案。 博客地址： http://arganzheng.life 。 背景 最近要把原来做的那套集中式日志监控系统进行迁移，原来的实现方案是: Log Agent => Log Server => ElasticSearch => Kibana，其中Log Agent和Log Server之间走的是Thrift RPC，自己实现了一个简单的负载均衡(WRB)。 原来的方案其实运行的挺好的，异步化Agent对应用性能基本没有影响。支持我们这个每天几千万PV的应用一点压力都没有。不过有个缺点就是如果错误日志暴增，Log Server这块处理不过来，会导致消息丢失。当然我们量级没有达到这个程度，而且也是可以通过引入队列缓冲一下处理。不过现在综合考虑，其实直接使用消息队列会更简单。PRC，负载均衡，负载缓冲都内建实现了。另一种方式是直接读取日志，类似于logstash或者flume的方式

目录 1. 网站服务 2. 所谓Nginx 3. 安装Nginx 4. Nginx配置文件详述 5. 开始玩转Nginx Nginx虚拟主机 Nginx状态信息（status）配置 Nginx错误页面优化 Nginx访问日志（access_log） Nginx限制来源IP Nginx动静分离 "@ *** 1. 网站服务     想必我们大多数人都是通过访问网站而开始接触互联网的吧。我们平时访问的网站服务 就是Web网络服务，一般是指允许用户通过浏览器访问到互联网中各种资源的服务。     Web网络服务是一种被动访问的服务程序，即只有接收到互联网中其他主机发出的请求后才会响应，最终用于提供服务程序的Web服务器会通过HTTP(超文本传输协议)或HTTPS(安全的超文本传输协议)把请求的内容传送给用户。     目前能够提供Web网络服务的程序有IIS、Nginx和Apache等。其中，IIS(Internet Information Services，互联网信息服务)是 Windows系统中默认的 Web 服务程序     2004年10月4日，为俄罗斯知名门户站点而开发的Web服务程序Nginx横空出世。Nginx程序作为一款轻量级的网站服务软件，因其稳定性和丰富的功能而快速占领服务器市场，但Nginx最被认可的是系统资源消耗低且并发能力强，因此得到了国内诸如新浪、 网易

【1】配置my.cnf 【1.1】通用复制配置 #replication_new log_bin=/mysql/log/3306/mysql-bin #开启binlog log_bin_index=/mysql/log/3306/mysql-bin.index binlog_format=row binlog_rows_query_log_events=on max_binlog_size=2048 bind-address=0.0.0.0 server_id=2013306 expire_logs_days=7 #超过7天的binlog清理 innodb_support_xa=1 binlog_cache_size=1M log_bin_trust_function_creators=1 #同步存储过程、函数、触发器 innodb_flush_log_at_trx_commit=1 sync_binlog=1 transaction-isolation=read-committed relay_log=/mysql/log/3306/relaylog/mysql-relay.log log-slave-updates=1 read_only=1 slave-parallel-type=LOGICAL_CLOCK slave-parallel-workers=4 master

目录 1. 网站服务 2. 所谓Nginx 3. 安装Nginx 4. Nginx配置文件详述 5. 开始玩转Nginx Nginx虚拟主机 Nginx状态信息（status）配置 Nginx错误页面优化 Nginx访问日志（access_log） Nginx限制来源IP Nginx动静分离 原文: http://blog.gqylpy.com/gqy/325 "@ *** 1. 网站服务     想必我们大多数人都是通过访问网站而开始接触互联网的吧。我们平时访问的网站服务 就是Web网络服务，一般是指允许用户通过浏览器访问到互联网中各种资源的服务。     Web网络服务是一种被动访问的服务程序，即只有接收到互联网中其他主机发出的请求后才会响应，最终用于提供服务程序的Web服务器会通过HTTP(超文本传输协议)或HTTPS(安全的超文本传输协议)把请求的内容传送给用户。     目前能够提供Web网络服务的程序有IIS、Nginx和Apache等。其中，IIS(Internet Information Services，互联网信息服务)是 Windows系统中默认的 Web 服务程序     2004年10月4日，为俄罗斯知名门户站点而开发的Web服务程序Nginx横空出世。Nginx程序作为一款轻量级的网站服务软件，因其稳定性和丰富的功能而快速占领服务器市场

mysql环境：ubuntu； 1.首先确定是否开启日志功能； show variables like 'log_%'; 显示结果 log_bin ON log_bin_basename /var/lib/mysql/bin-log log_bin_index /var/lib/mysql/bin-log.index log_bin_trust_function_creators OFF log_bin_use_v1_row_events OFF log_error /var/log/mysql/error.log 如果你的log_bin选项为OFF，此种方法无法进行数据修复，这里做学习恢复数据使用，了解binlog恢复数据流程； 2.若未开启log_bin，需要进行数据库的my.cnf文件中加入，我的是在 /etc/mysql/mysql.conf.d/mysqld.cnf [mysqld] # # * Basic Settings # user = mysql log-bin=/var/lib/mysql/bin-log pid-file = /var/run/mysqld/mysqld.pid socket = /var/run/mysqld/mysqld.sock port = 3306 basedir = /usr datadir = /var/lib/mysql