rsyslog

一、背景 对于互联网应用和企业大型应用而言，多数都尽可能地要求做到7*24小时不间断运行，而要做到完全不间断运行可以说“难于上青天”。为此，对应用可用性程度的衡量标准一般有3个9到5个9。 可用性指标 计算方式 不可用时间（分钟） 99.9% 0.1%*365*24*60 525.6 99.99% 0.01%*365*24*60 52.56 99.999% 0.001%*365*24*60 5.256 对于一个功能和数据量不断增加的应用，要保持比较高的可用性并非易事。为了实现高可用，宜信支付系统从避免单点故障、保证应用自身的高可用、解决交易量增长等方面做了许多探索和实践。 在不考虑外部依赖系统突发故障，如网络问题、三方支付和银行的大面积不可用等情况下，宜信支付系统的服务能力可以达到99.999%。 本文重点讨论如何提高应用自身的可用性，关于如何避免单点故障和解决交易量增长问题会在其他系列讨论。 为了提高应用的可用性，首先要做的就是尽可能避免应用出现故障，但要完全做到不出故障是不可能的。互联网是个容易产生“蝴蝶效应”的地方，任何一个看似很小的、发生概率为0的事故都可能出现，然后被无限放大。 大家都知道RabbitMQ本身是非常稳定可靠的，宜信支付系统最开始也一直在使用单点RabbitMQ，并且从未出现运行故障，所以大家在心理上都认为这个东西不太可能出问题。 直到某天

强大的功能，丰富的插件，让logstash在数据处理的行列中出类拔萃 通常日志数据除了要入ES提供实时展示和简单统计外，还需要写入大数据集群来提供更为深入的逻辑处理，前边几篇ELK的文章介绍过利用logstash将kafka的数据写入到elasticsearch集群，这篇文章将会介绍如何通过logstash将数据写入HDFS 本文所有演示均基于logstash 6.6.2版本 数据收集 logstash默认不支持数据直接写入HDFS，官方推荐的output插件是 webhdfs ，webhdfs使用HDFS提供的API将数据写入HDFS集群 插件安装 插件安装比较简单，直接使用内置命令即可 # cd /home/opt/tools/logstash-6.6.2 # ./bin/logstash-plugin install logstash-output-webhdfs 配置hosts HDFS集群内通过主机名进行通信所以logstash所在的主机需要配置hadoop集群的hosts信息 # cat /etc/hosts 192.168.107.154 master01 192.168.107.155 slave01 192.168.107.156 slave02 192.168.107.157 slave03 如果不配置host信息，可能会报下边的错 [WARN ]

Rsyslog 是一个自由开源的日志记录程序，在 CentOS 8 和 RHEL 8 系统上默认可用。它提供了一种从客户端节点到单个中央服务器的“集中日志”的简单有效的方法。日志集中化有两个好处。首先，它简化了日志查看，因为系统管理员可以在一个中心节点查看远程服务器的所有日志，而无需登录每个客户端系统来检查日志。 如果需要监视多台服务器，这将非常有用，其次，如果远程客户端崩溃，你不用担心丢失日志，因为所有日志都将保存在中心的 Rsyslog 服务器上。rsyslog 取代了仅支持 UDP 协议的 syslog。它以优异的功能扩展了基本的 syslog 协议，例如在传输日志时支持 UDP 和 TCP 协议，增强的过滤功能以及灵活的配置选项。让我们来探讨如何在 CentOS 8 / RHEL 8 系统中配置 Rsyslog 服务器。 预先条件 我们将搭建以下实验环境来测试集中式日志记录过程： Rsyslog 服务器 CentOS 8 Minimal IP 地址： 10.128.0.47 客户端系统 RHEL 8 Minimal IP 地址： 10.128.0.48 通过上面的设置，我们将演示如何设置 Rsyslog 服务器，然后配置客户端系统以将日志发送到 Rsyslog 服务器进行监视。 让我们开始！ 在 CentOS 8 上配置 Rsyslog 服务器 默认情况下，Rsyslog

I'm attempting to write a bash script that uses nohup and passes errors to rsyslog. I've tried this command with different variations of the log variable (see below) but can't get the output passed to anything but a std txt file. I can't get it to pipe. nohup imageprocessor.sh > "$LOG" & Is it possible to pipe nohup output or do I need a different command. A couple of variations of log that I have tried LOG="|/usr/bin/logger -t workspaceworker -p LOCAL5.info &2" or LOG="|logtosyslog.sh" or LOG="logtosyslog.sh" A way in bash to redirect output to syslog is: exec > >(logger -t myscript) stdout

收集系统其它服务日志，在客户端node1 上操作，示例以openstack-nova 服务的日志为例： 1.先修改配置文件 /etc/rsyslog.conf，完整内容如下： [root@node1 ~]# egrep -v '^#|^$' /etc/rsyslog.conf $ModLoad imuxsock # provides support for local system logging (e.g. via logger command) $ModLoad imjournal # provides access to the systemd journal $ModLoad immark # provides --MARK-- message capability $WorkDirectory /var/lib/rsyslog $ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat $IncludeConfig /etc/rsyslog.d/*.conf $OmitLocalLogging on $IMJournalStateFile imjournal.state *.info;mail.none;authpriv.none;cron.none @@192.168.30.67 authpriv.* /var

基础概念 程序环境 自定义日志 定义rsyslog服务器，监听端口 基础概念 程序环境 自定义日志 将sshd服务的日志重新定义，及重启服务 自定义rsyslog把他放在指定的的文件中，及重启服务 自定义日志生效 定义rsyslog服务器，监听端口 打开日志服务器监听端口，能接收远程主机上的日志，一个监听在UDP，一个监听在TCP，一个更快，一个更安全 配置远程主机把日志发送给日志服务器 重启服务 来源： https://www.cnblogs.com/hao-ran/p/11947239.html

1.安装Linux系统后调优及安全设置 1. 1 关闭SELinux功能 SELinux功能（类似防火墙）大多数生产环境的做法是关闭，安全问题通过其它手段来解决。 查看selinux的配置文件 ：cat /etc/selinux/config # SELINUX= can take one of these three values: # enforcing - SELinux security policy is enforced. # permissive - SELinux prints warnings instead of enforcing. # disabled - No SELinux policy is loaded. SELINUX=enforcing # SELINUXTYPE= can take one of these two values: # targeted - Targeted processes are protected, # mls - Multi Level Security protection. SELINUXTYPE=targeted SELINUX有三种状态： enforcing（强制执行） permissive（许可的） disabled（关闭）。 目前默认系统是enforcing（强制执行）状态，我们需要将其改为disabled