系统日志

0x00 前言 我正在整理一个项目，收集和汇总了一些应急响应案例（不断更新中）。 GitHub 地址：https://github.com/Bypass007/Emergency-Response-Notes 本文主要介绍Linux日志分析的技巧，更多详细信息请访问Github地址，欢迎Star。 0x01 日志简介 Linux系统拥有非常灵活和强大的日志功能，可以保存几乎所有的操作记录，并可以从中检索出我们需要的信息。本文简介一下Linux系统日志及日志分析技巧。 日志默认存放位置：/var/log/ 查看日志配置情况：more /etc/rsyslog.conf 日志文件 说明 /var/log/cron 记录了系统定时任务相关的日志 /var/log/cups 记录打印信息的日志 /var/log/dmesg 记录了系统在开机时内核自检的信息，也可以使用dmesg命令直接查看内核自检信息 /var/log/mailog 记录邮件信息 /var/log/message 记录系统重要信息的日志。这个日志文件中会记录Linux系统的绝大多数重要信息，如果系统出现问题时，首先要检查的就应该是这个日志文件 /var/log/btmp 记录错误登录日志，这个文件是二进制文件，不能直接vi查看，而要使用lastb命令查看 /var/log/lastlog

文章目录 排查程序bug等问题的思路 1. 系统环境不一致 2. 程序本身有bug,或者存在 2.1 本身程序的健壮性不行 2.1.1 首先看报错日志的情况,没有报错日志这种单独另外再说 2.1.2无报错日志,或者说无明显的系统异常报错日志 3. 总结 排查程序bug等问题的思路 针对一个完全没有接触过的程序,特别是没有注释的情况下,会存在碰到很多问题,虽然在别人机器上已经跑通了,但是在copy到自己机器上也会跑不通,最主要的原因有几种情况. 系统环境不一致 程序本身有bug,或者存在 1. 系统环境不一致 系统环境不一致也分很多种 操作系统层级的不一致, Linux 系统 Windows系统, macos 系统,不同的环境经常会在以下情况下不一致. 1. 文件路径访问的不一致 ,这种需要查看不同的操作系统下文件访问的区别. 2. 需要修改的环境变量 配置文件不一致，window一般是在 我的电脑->高级系统设置->环境变量-> path ,而 macos 一般是 https://www.jianshu.com/p/463244ec27e3 说明一下:所谓的环境变量,就是你命令的快捷方式,比如在mac系统的终端,或者win系统的cmd下, 执行 python,需要告诉操作系统,这个命令的具体执行路径,只有配置了,系统才能知道这个命令是执行具体绝对路径下的可执行程序.

　　日志对于安全来说，非常重要，他记录了系统每天发生的各种各样的事情，你可以通过他来检查错误发生的原因，或者受到攻击时攻击者留下的痕迹。日志主要的功能有：审计和监测。他还可以实时的监测系统状态，监测和追踪侵入者等等。 1. 日志简介 　　日志对于安全来说，非常重要，他记录了系统每天发生的各种各样的事情，你可以通过他来检查错误发生的原因，或者受到攻击时攻击者留下的痕迹。日志主要的功能有：审计和监测。他还可以实时的监测系统状态，监测和追踪侵入者等等。 　　在 Linux 系统中，有三个主要的日志子系统： 　　连接时间日志--由多个程序执行，把纪录写入到/var/log/wtmp和/var/run/utmp，login等程序更新wtmp和utmp文件，使系统管理员能够跟踪谁在何时登录到系统。 　　进程统计--由系统内核执行。当一个进程终止时，为每个进程往进程统计文件（pacct或acct）中写一个纪录。进程统计的目的是为系统中的基本服务提供命令使用统计。 　　错误日志--由syslogd（8）执行。各种系统守护进程、用户程序和内核通过syslog（3）向文件/var/log/messages报告值得注意的事件。另外有许多UNIX程序创建日志。像HTTP和FTP这样提供网络服务的服务器也保持详细的日志。 　　常用的日志文件如下： 　　access-log 纪录HTTP/web的传输 　

公司要调试产品，想要监视试用品的 logcat ,捕获本机产生的日志，发送到服务器上 （提供一个完整的代码下载 http://download.csdn.net/detail/matao_ct/3768161 这里会比下面的代码更完善，多了网络传输和格式转换 需要2分哦..不嫌麻烦的话在下面拷贝也行.... ） 折腾了一天，基本上做好 现在来看代码 读取日志需要的权限 <uses-permission android:name="android.permission.READ_LOGS"/> 主要代码 package mt.fzgh;import java.io.BufferedReader;import java.io.InputStreamReader;import java.util.ArrayList;public class MyLog{ public static class MLog //静态类 { public static void getLog() { System.out.println("--------func start--------"); // 方法启动 try { ArrayList<String> cmdLine=new ArrayList<String>(); //设置命令 logcat -d 读取日志 cmdLine.add("logcat"

需求分析 日志是作为线上系统排错的关键，通常我们在本机代码调试的时候，错误会直接打印在控制台上，因此我们才能进行错误的判断。当系统运行在线上的时候，如果单纯的通过捕获异常 ，使用**e.printStackTrace()**进行打印肯定是不行的。因为其他的运行信息或者异常也会将打印的信息给顶掉。 这个时候我们就需要引入日志系统了，这里就不在赘述如何打印日志了。 上述这种情况是在单机版的情况下正常运行，这个时候我们的日志是可以正常的进行查看。但是，当我们开始做分布式，做微服务的时候，单机版的日志系统对于这种情况就不适用了。、 此时此刻，日志记录在多个服务器的log文件当中，而对于我们来说排错就变得异常困难了。因为一个服务可能做了集群之后，生成的日志文件还需要去查看在哪个服务器，对于开发的排错来说大大降低了效率。 显然，此时此刻我们需要一个分布式的日志管理系统，对所有的日志进行统一的管理。 分布式日志系统ELK是指Elasticsearch+Logstash+Kibana。Elasticsearch是一个开源的全文检索工具用于日志存储，Logstash是一个日志收集工具。Kibana用于日志查询与展示。下面是系统简单架构图。 ELK的架构体系十分的简单，首先Logstash通过读取数据源中的数据，进行过滤，然后在输出到ElasticSearch当中去。接着使用Kibbna进行日志的查看

一、如何在系统中使用slf4j   参照： http://www.slf4j.org/manual.html   以后开发的时候，日志记录方法的调用，不是直接调用日志的实现类，而是调用日志抽象层里面的方法，给系统里面导入slf4j的jar和 logback的实现jar import org . slf4j . Logger ; import org . slf4j . LoggerFactory ; public class HelloWorld { public static void main ( String [ ] args ) { Logger logger = LoggerFactory . getLogger ( HelloWorld . class ) ; logger . info ( "Hello World" ) ; } } 二、如何让系统中的所有日志都统一到slf4j上 参照： http://www.slf4j.org/legacy.html 遗留的问题：   我们现在所使用的技术中，很多都集成了自己的日志，比如：Spring（commons-logging）、Hibernate（jboss-logging）…… 那么，如何让系统中的所有日志都统一到slf4j上？（如图中所示） 1、将系统中其他日志框架先排除出去； 2、用中间包来替换原有的日志框架 3

综合：Tomcat下相关的日志文件 Cataline引擎的日志文件，文件名catalina.日期.log Tomcat下内部代码丢出的日志，文件名localhost.日期.log（jsp页面内部错误的异常，org.apache.jasper.runtime.HttpJspBase.service类丢出的，日志信息就在该文件！） Tomcat下默认manager应用日志，文件名manager.日期.log 控制台输出的日志，Linux下默认重定向到catalina.out Access日志（Servlet.xml配置） 应用程序通过log4j.properties：${catalina.base}/logs/probe.log重定向过来的日志 JULI:org.apache.juli.FileHandler对应的日志文件名：{prefix}.{date}.{suffix} 默认juli.日期.log Tomcat下Web应用程序可以使用如下3种日志： 使用JDK提供的日志java.util.logging. 使用Java Servlets规范中定义的日志javax.servlet.ServletContext.log(...) 使用其他日志框架，如log4j 不同Web应用程序下使用的Servlet日志（或者日志框架提供的日志）是相互独立的（这与Tomcat的class

rsyslogd 系统日志服务 the rocket-fast system for log processing /var/log/ 系统日志文件目录 /etc/rsyslog.conf 日志服务配置文件 ，放置服务及其日志等级和记录位置 /etc/logrotate.conf 日志轮替配置文件 ，放置默认参数等 logrotate [选项] 配置文件名 logwatch 日志分析工具 来源： CSDN 作者： 这个我会 链接： https://blog.csdn.net/weixin_42163073/article/details/104035010

这是之前规划设计的IT基础架构运维规划方案，总结自己一段时间的运维经验 相关敏感信息已经去除 学无止境啊 XX运维工作架构规划 从2016年10月XX的运维工作到现在已经有两年多了，期间进行了很多调整，部署了很多业务系统，从一开始的混乱无序，到现在算是小有成效了。现在我们需要进一步完善现有运维工作，规划完整的架构，方便日后进行调整，保证能够科学而又高效的完成运维工作，提高客户满意度。 1.整体架构设计 整体架自下而上分为两个部分，基础环境和上层业务应用。 基础环境主要是提供的基础虚拟机化环境和存储支持，同时包括各种网络基础环境。 上层应用由客户业务、运维支撑和第三方业务系统构成，主要是基于虚拟机的应用软件和解决方案。 广电的基础环境主要构建是基于kvm虚拟化解决方案的超融合nutanix环境和基于vmware的vsphere虚拟化解决方案环境组成，两者为不同的异构的虚拟化，中间底层网络全部连通，相互共享网络资源和存储资源，为整体的架构提供一个虚拟化层从而支撑上层其他业务系统。值得说明的是，目前我们无法两种不同的虚拟化环境进行统一管理和调度，虽然他们都可以提供完整的虚拟机生命周期管理。 1.1. nutanix的虚拟化环境 Nutanix的虚拟化环境组网如下所示： 这是一个稳定的组网架构，从2017年3月部署后，基本没有变更过，运行可靠，可用性高，性能强悍

MySQL 配置文件 二进制日志log-bin 主从复制 错误日志log-error 默认是关闭的，记录严重的警告和错误的信息，每次启动和关闭的详细信息等。 查询日志log 默认是关闭的,记录查询的sql语句，如果开启会降低mysql的整体性能，因为记录日志也是需要消耗系统资源的。 数据文件 两系统 Windows ：D:\mysql\mysql-5.6.42-winx64\data 目录下可以挑选很多库 Linux： 查看当前系统中的全部库后再进去 ls -1F|grep ^d 默认路径 /var/libmysql frm文件 存放表结构 myd文件 存放表数据 myid文件 存放表索引 MySQL 架构 连接层 　　最上层是一些客服端和连接服务，包括sock通信和大多数基于客服端/服务端工具实现的类似于tcp/ip的通信，主要完成一些类似于连接处理、授权认证及相关安全的方案，在该层上引入了线程池的概念，为通过认证安全接入的客服端提供线程，同样在该层上可以实现基于SSL的安全的连接，服务器也会为安全接入的每个客户端验证它所具有的操作权限。 　　 服务层 　　第二层架构主要完成大多数的核心服务功能，如SQL接口，并完成缓存的查询，SQL的分析以及优化部分内置函数的执行，所有跨存储引擎的功能也在这一层实现，如过程、函数等，服务器会解析查询并创建相应的内部解析树