rsyslog

你可能没有注意但很重要的filebeat小知识 Registry文件 Filebeat会将自己处理日志文件的进度信息写入到registry文件中，以保证filebeat在重启之后能够接着处理未处理过的数据，而无需从头开始 registry文件内容为一个list，list里的每个元素都是一个字典，字典的格式如下： { "source": "/home/logs/app/exception.log", "offset": 8137, "FileStateOS": { "inode": 1048, "device": 29 }, "timestamp": "2019-03-28T13:31:10.87878789+08:00", "ttl": -1 } 每个字段的意义解释： source： 记录采集日志的完整路径 offset： 采集这个日志文件到了哪个位置，总采集字节数 inode： 日志文件的inode号，关于inode的详细解释看下文 device： 日志所在的磁盘编号，下文 stat 命令中Device的值 timestamp： 日志最后一次发生变化的时间戳 ttl： 采集失效时间，-1表示永不失效 Filebeat在每次启动时都会来读取这个文件，如果文件不存在则会创建新文件 inode相关知识 硬盘格式化的时候，操作系统自动将硬盘分成了两个区域。 一个是数据区

日志的种类和记录的方式-自定义ssh服务日志类型和存储位置 在centos7中，系统日志消息由两个服务负责处理： systemd-journald 和 rsyslog 日志文件 用途 /var/log/message 大多数系统日志消息记录在此处。有也例外的：如与身份验证，电子邮件处理相关的定期作业任务等 /var/log/secure 安全和身份验证相关的消息和登录失败的日志文件。 ssh远程连接产生的日志 /var/log/maillog 与邮件服务器相关的消息日志文件 /var/log/cron 与定期执行任务相关的日志文件 /var/log/boot.log 与系统启动相关的消息记录 /var/log/dmesg 与系统启动相关的消息记录 查看哪个IP地址经常暴力破解系统用户密码 grep Failed /var/log/secure grep Failed /var/log/secure|awk '{print $11}'|uniq -c awk '{print $11}' #以空格做为分隔符，打印第11列的数据 uniq -c 命令用于报告或忽略文件中的重复行，-c或——count：在每列旁边显示该行重复出现的次数； /var/log/wtmp 文件的作用，/var/log/wtmp也是一个二进制文件，记录每个用户的登录次数和持续时间等信息。 /var/log/btmp

I need to extract the profile for these syslog entries. May 11 09:35:59 server-0548 ea_appserver: env=ACPT profile=product_api java[31185]: 2017-05-11 09:35:59,210 server-0548 org.hibernate.internal.SessionFactoryImpl ServerService Thread Pool -- 51 HHH000008: JTASessionContext being used with JDBCTransactionFactory; auto-flush will not operate correctly with getCurrentSession() The following regex works for PCRE but I can't seem to convert it over to POSIX. (?m)profile=(\S+) I've tried [^=]*$ and .*profile=(.*) but can't get either to stop at just product_api POSIX ERE does not support inline

1、描述rsyslog日志服务,并提供带web展示的日志服务器 　　rsyslog日志服务简介 1、rsyslog是一个C/S架构的服务，可监听于某套接字，帮其它主机记录日志信息，在linux系统中可以分类两个日志： klogd：kernel，记录内核相关的日志 ​ syslogd：service，记录应用程序的日志 rsyslog：是CentOS 6以后的系统使用的日志系统，与之前的syslog日志系统相比，具有以下优点： ​ 支持多线程 ​ 支持TCP、SSL、TLS、RELP等协议 ​ 强大的过滤器，可实现过滤日志信息中的任意部分 ​ 支持自定义输出格式 ​ 适用于企业级别日志记录需求 ​ 模块化 程序包：rsyslog 主程序：/usr/sbin/rsyslogd CentOS 6：service rsyslog {start|stop|restart|status} CentOS 7：/usr/lib/systemd/system/rsyslog.service 配置文件：/etc/rsyslog.conf，/etc/rsyslog.d/*.conf 库文件： /lib64/rsyslog/*.so 配置文件格式：由三部分组成 MODULES：相关模块配置 GLOBAL DIRECTIVES：全局配置 RULES：日志记录相关的规则配置 启用网络日志服务 通常的日志格式：

目录 1.使用系统中的某个文件作为swap分区 1.1创建swapfile 1.2格式化swap分区 1.3检查当前swap分区情况 1.4临时启用新建swap分区并查看情况 1.5 关闭新建的swap分区并查看情况 1.6永久启用新建的swap分区 2.使用磁盘分区作为swap分区 2.1创建分区并将分区修改为swap分区 2.2刷新新分区并格式化swap分区 2.3临时启用新建swap分区和关闭新建swap分区 2.4永久启用新建的swap分区 3.日志系统 3.1搭建日志服务器 3.2编辑另外一台服务器 1.使用系统中的某个文件作为swap分区 1.1创建swapfile [root@liping ~]# dd if=/dev/zero of=/opt/swap_file bs=1G count=1 记录了1+0 的读入 记录了1+0 的写出 1073741824字节(1.1 GB)已复制，10.8215 秒，99.2 MB/秒 // if :指定源 一般写/dev/zero // of :指定目标 // bs :定义块大小 // count :数量 1.2格式化swap分区 [root@liping ~]# mkswap -f /opt/swap_file 正在设置交换空间版本 1，大小 = 1048572 KiB 无标签，UUID=4a22b2c8-8c6d-4ff3

常见的 Web集群调度器 目前常见的 Web 集群调度器分为软件和硬件，软件通常使用开源的LVS、Haproxy、Nginx，硬件一般使用比较多的是 F5，也有很多人使用国内的一些产品，如梭子鱼、绿盟等 Haproxy应用分析 ■LVS在企业应用中抗负载能力很强，但存在不足 LVS不支持正则处理，不能实现动静分离 对于大型网站，LVS的实施配置复杂，维护成本相对较高 ■Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件 特别适用于负载特别大的Web站点 运行在当前的硬件上可支持数以万计的并发连接连接请求 Haproxy 调度算法原理 Haproxy 支持多种调度算法，最常用的有三种: ●RR (Round Robin) RR算法是最简单最常用的一-种算法，即轮询调度 理解举例 有三个节点A、B、C,第一个用户访问会被指派到节点A,第二个用 户访问会被指派到节点B，第三个用户访问会被指派到节点 第四个用户访问继续指派到节点A，轮询分配访问请求实现负载均衡效果 ●LC (Least Connections) LC算法即最小连接数算法，根据后端的节点连接数大小动态分配前端请求 理解举例 有三个节点A、B、C,各节点的连接数分别为A:4、B:5、 C:6, 此时如果有第 一个用户连接请求，会被指派到A上，连接数变为A:5、B:5、 C:6

HAProxy简介 官网：http://www.haproxy.com HAProxy提供高可用性、负载均衡以及基于TCP和HTTP的应用代理，支持虚拟主机，它是免费、快速并且可靠的一种负载均衡解决方案。适合处理高负载站点的七层数据请求。类似的代理服务可以屏蔽内部真实服务器，防止内部服务器遭受攻击。 HAProxy特点和优点： 1.支持原声SSL,同时支持客户端和服务器的SSL. 2.支持IPv6和UNIX套字节（sockets） 3.支持HTTP Keep-Alive 4.支持HTTP/1.1压缩，节省宽带 5.支持优化健康检测机制（SSL、scripted TCP、check agent...） 6.支持7层负载均衡。 7.可靠性和稳定性非常好。 8.并发连接40000-50000个，单位时间处理最大请求20000个，最大数据处理10Gbps. 9.支持8种负载均衡算法，同时支持session保持。 10.支持虚拟主机。 11.支持连接拒绝、全透明代理。 12.拥有服务器状态监控页面。 13.支持ACL. HAProxy为了让同一客户端访问服务器可以保持会话。有三种解决方法：客户端IP、Cookie以及Session 1.HAProxy通过客户端IP进行Hash计算并保存，以此确保当相同IP访问代理服务器可以转发给固定的真实服务器。 2

I'm unable to write log messages into syslog. Any help would be great. Here is my simple log4j program import org.apache.log4j.Logger; import java.io.*; import java.sql.SQLException; import java.util.*; public class log4jExample { /* Get actual class name to be printed on */ static Logger log = Logger.getLogger(log4jExample.class.getName()); public static void main(String[] args) throws IOException,SQLException { log.error("Hello this is an error message"); log.info("Hello this is an info message"); log.fatal("Fatal error message"); } } My syslog properties file # configure the root logger

1 日志管理 1.1 问题 查看rsyslog服务是否开启 查看/var/log/admin.log文件是否存在 配置rsyslog服务，把本主机的所有日志信息全部额外保存一份到/var/log/admin.log里面去 1.2 方案 存放日志的重点目录：/var/log。 重要的日志文件：/var/log/messages。 Linux日志服务是rsyslog，在5里面是syslog。 服务名称是rsyslog，配置文件：/etc/rsyslog.conf，是一个独立服务。 /etc/rsyslog.conf 记录格式：设备.优先级... 记录位置。 1.3 步骤 实现此案例需要按照如下步骤进行。 步骤一：查看rsyslog服务是否开启 命令操作如下所示： [root@youyi /]# /etc/init.d/rsyslog status rsyslogd (pid 1513) 正在运行... [root@youyi /]# 步骤二：查看/var/log/admin.log文件是否存在 命令操作如下所示： [root@youyi /]# ls /var/log/admin.log ls: 无法访问/var/log/admin.log: 没有那个文件或目录 [root@youyi /]# 步骤三：配置rsyslog服务，把本主机的所有日志信息全部额外保存一份到/var/log