日志文件

ZooKeeper查看事务日志

好久不见. 提交于 2019-12-05 05:14:05
zoo.cfg中可以通过dataLogDir来配置zookeeper的事务日志的输出目录。但是这些日志文件是二进制的,无法通过普通的查看名单看。需要通过org.apache.zookeeper.server.LogFormatter。 命令如下: java -cp :/usr/local/zookeeper/zookeeper/lib/slf4j-api-1.6.1.jar:/usr/local/zookeeper/zookeeper/zookeeper-3.4.11.jar org.apache.zookeeper.server.LogFormatter /usr/local/zookeeper/zookeeper/dataLogDir/version-2/log.1 以下转自: https://www.linuxidc.com/Linux/2016-03/129509.htm ZooKeeper日志与快照文件简单分析 有用过Zookeeper的都知道zoo.cfg配置文件中有dataDir配置项用于存储数据,不过可能有些人不太清楚这个目录具体存储的是那些数据,默认情况下这个目录是用于存储Log(事务日志)与Snapshot(快照)数据,但是Zookeeper还提供了一个用于Log存储目录的配置项dataLogDir而dataDir用于存储Snapshot数据

zookeeper的日志文件和快照的可视化

∥☆過路亽.° 提交于 2019-12-05 05:13:37
在zookeeper的配置文件zoo.cfg文件中,dataDir对应的是快照日志文件保存路径,dataLogDir对应的是事务日志文件,当我们直接查看日志文件时,看到是二进制文件,我们无法直接解读,内容如下: 那么我们该如何查看正确的日志内容呢? 查看事务日志内容:zookeeper提供了LogFormatter工具进行转换 java -classpath . :lib/slf4j-api- 1.6 . 1 . jar: zookeeper- 3.4 . 9 .jar \ org.apache.zookeeper.server. LogFormatter dataLog/version- 2 /log. 1 2、查看快照日志文件内容: zookeeper提供了SnapshotFormatter工具转换 java -classpath . :lib/slf4j-api- 1.6 . 1 . jar: zookeeper- 3.4 . 9 .jar \ org.apache.zookeeper.server. SnapshotFormatter data/version- 2 /snapshot. 7 e 来源: CSDN 作者: Zzooper 链接: https://blog.csdn.net/qq_27739989/article/details/78105603

oracle体系结构简介

匆匆过客 提交于 2019-12-05 02:36:43
oracle体系结构简介 一、物理存储结构 1、数据文件 存放数据库数据,以dbf为扩展名。将数据放在多个数据文件中, 再将数据文件分放在不同的硬盘中,可以提高存取速度。数据文 件由数据块构成,块大小由数据库创建时确定。 2、重做日志文件,以rdo为扩展名。含对数据库所做的更改记录, 这样万一出现故障可以启用数据恢复。一个数据库至少需要两个 重做日志文件。重做日志在日志文件中以循环的方式工作。有 归档日志模式和非归档日志模式。 3、控制文件,以ctl或ctrl为扩展名。控制文件维护数据库的全局 物理结构,记录数据库中所有文件的控制信息,每个数据库至少 要有一个控制文件,建议用户使用两个或更多控制文件,并存放 在不同的磁盘上。Oracle系统通过控制文件保持数据库的完整性, 以及决定恢复数据时使用哪些重做日志。 4、参数文件,以ora为扩展名。在一个数据库启动时,每个参数都有 一个默认值,而参数文件中的设置值被用来更改默认值,参数值 极大影响了oracle如何去执行其不同的任务。参数文件包括以下 几种: <1>、初始化参数文件。当创建一个数据库时,oracle创建了一个 默认的init.ora文件,如果不修改任何参数,oracle将用所有的 缺省值来启动数据库,通常根据实际的应用修改参数设置以提高 性能。 <2>、配置参数文件。一般被命名为config.ora,它被用于特定实

Zookeeper 运维实践手册

痴心易碎 提交于 2019-12-05 01:48:46
Zookeeper是一个高可用的分布式数据管理与协调框架,该框架能很好地保证分布式环境中数据一致性。一般用来实现服务发现(类似DNS),配置管理,分布式锁,leader选举等。 一、生产环境中Zookeeper安装部署规范 生产环境建议zookeeper至少为三台集群,统一安装配置,版本号为近期新版本,比如版本为3.4.8 部署路径:/opt/业务模块名/zookeeper 配置文件:/opt/业务模块名/zookeeper/conf/zoo.cfg 存储快照文件snapshot的目录:/opt/业务模块名/zookeeper/data 事务日志输出目录:/var/log/业务模块名/zookeeper 运行日志输出目录:/var/log/业务模块名/zookeeper Zookeeper所有端口需要提前开通防火墙入站规则 对外服务端口:默认2181,可自定义 通信端口:2888,可自定义 选举端口:3888,可自定义 autoperge默认关闭,建议自行编写脚本在业务低谷期清理快照和事务日志 查询状态:sh /opt/业务模块名/zookeeper/zkServer.sh status 启动服务:sh /opt/业务模块名/zookeeper/zkServer.sh start 停止服务:sh /opt/业务模块名/zookeeper/zkServer.sh stop

第9章-构建Hadoop集群-系统日志文件相关知识点

£可爱£侵袭症+ 提交于 2019-12-05 00:56:47
相关资料:《 Hadoop 各种日志文件总结 》 1、默认情况下,Hadoop生成的系统日志文件存放在哪儿? 默认情况下,Hadoop生成的系统日志文件存放在$HADOOP_INSTALL/logs目录之中。 2、Hadoop系统日志文件存放位置在哪儿修改? 默认系统日志在在$HADOOP_INSTALL/logs目录,也可通过hadoop-env.sh文件的HADOOP_LOG_DIR修改。 3、为什么建议修改Hadoop系统日志文件默认配置,使之独立于Hadoop安装目录? 建议修改默认配置,使之独立于Hadoop的安装目录。这样的话,即使Hadoop升级之后安装路径发生变化,也不会影响日志文件的位置。 通常可以将日志文件存放在/var/log/hadoop目录中。实现方法: 在hadoop-env.sh中加入行:export HADOOP_LOG_DIR=/var/log/hadoop 4、Hadoop守护进程会产生两类日志文件 各台机器上的各个Hadoop守护进程均会产生两类日志文件: 1)、以.log作为后缀名通过log4j记录的 5、在对问题进行故障诊断时,需要先查看哪个日志文件? 鉴于大部分应用程序的日志消息都写到以.log作为后缀名通过log4j记录的日志文件中,在对问题进行故障诊断时需要先查看这个文件。 6、标准的Hadoop

python logging模块

陌路散爱 提交于 2019-12-04 21:47:55
python logging模块 原文:http://www.cnblogs.com/dahu-daqing/p/7040764.html 1 logging模块简介 logging模块是Python内置的标准模块,主要用于输出运行日志,可以设置输出日志的等级、日志保存路径、日志文件回滚等;相比print,具备如下优点: 可以通过设置不同的日志等级,在release版本中只输出重要信息,而不必显示大量的调试信息; print将所有信息都输出到标准输出中,严重影响开发者从标准输出中查看其它数据;logging则可以由开发者决定将信息输出到什么地方,以及怎么输出; 2 logging模块使用 2.1 基本使用 配置logging基本的设置,然后在控制台输出日志, import logging logging.basicConfig(level = logging.INFO,format = '%(asctime)s - %(name)s - %(levelname)s - %(message)s') logger = logging.getLogger(__name__) logger.info("Start print log") logger.debug("Do something") logger.warning("Something maybe fail.") logger

Linux 下面一些安全日志文件

前提是你 提交于 2019-12-04 20:47:12
文件 /var/run/utmp 记录现在登入的用户 文件 /var/log/wtmp 记录用户所有的登入和登出 文件 /var/log/lastlog 记录每一个用户最后登入时间 文件 /var/log/btmp 记录错误的登入尝试(注:可以查看电脑是否正在被爆破) 文件 /var/log/auth.log 需要身份确认的操作(可能存在) 来源: https://www.cnblogs.com/oldhands/p/11882618.html

IIS服务器怎么查看网站日志

霸气de小男生 提交于 2019-12-04 20:43:04
在做网站的优化以及网站安全的时候,分析网站的日志是非常重要的,但是公司的服务器是IIS的,以前弄的是linux的服务器,不知道该怎么弄,最终找到了解决办法。 1、iis默认是有日志的,在iislog下 2、日志文件在这里 C:\inetpub\logs\LogFiles 来源: https://www.cnblogs.com/e0yu/p/11882430.html

mysql 日志文件mysql-bin文件清除方法,和mysql-bin相关文件的配置

喜夏-厌秋 提交于 2019-12-04 20:31:07
默认情况下mysql会一直保留mysql-bin文件,这样到一定时候,磁盘可能会被撑满,这时候是否可以删除这些文件呢,是否可以安全删除,是个问题。 首先要说明一下,这些文件都是mysql的日志文件,如果不做主从复制的话,基本上是没用的,虽然没用,但是不建议使用rm命令删除,这样有可能会不安全,正确的方法是通过mysql的命令去删除。 mysql -u root -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 2819416 Server version: 5.5.24-0ubuntu0.12.04.1-log (Ubuntu) Copyright (c) 2000, 2011, Oracle and/or its affiliates. All rights reserved. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c'

使用 supervisor 管理进程

偶尔善良 提交于 2019-12-04 16:25:28
Supervisor ( http://supervisord.org ) 是一个用 Python 写的进程管理工具,可以很方便的用来启动、重启、关闭进程(不仅仅是 Python 进程)。除了对单个进程的控制,还可以同时启动、关闭多个进程,比如很不幸的服务器出问题导致所有应用程序都被杀死,此时可以用 supervisor 同时启动所有应用程序而不是一个一个地敲命令启动。 安装 Supervisor 可以运行在 Linux、Mac OS X 上。如前所述,supervisor 是 Python 编写的,所以安装起来也很方便,可以直接用 pip : sudo pip install supervisor 如果是 Debian / Ubuntu可以直接通过apt安装: # apt-get install supervisor supervisord 配置 Supervisor 相当强大,提供了很丰富的功能,不过我们可能只需要用到其中一小部分。安装完成之后,可以编写配置文件,来满足自己的需求。为了方便,我们把配置分成两部分:supervisord(supervisor 是一个 C/S 模型的程序,这是 server 端,对应的有 client 端:supervisorctl)和应用程序(即我们要管理的程序)。 首先来看 supervisord 的配置文件。安装完 supervisor 之后