rsyslog

webgame 运维自动化

别说谁变了你拦得住时间么 提交于 2020-08-05 05:17:44
发现bootstrap挺火的,趁着新项目还未上线,自己也把后台改成了bootstrap.由于时间仓促,暂时只实现了部分主要功能,以后功能做出来会定期更新. 下面的讲解主要是游戏中的清档和装服,还有自己写的一个syslog日志系统.因为对于webgame运维来说,最主要的就是清档和装服了,所以首先实现的这一块的功能.以后会慢慢添加监控还有批量执行命令、补丁、批量分发文件等功能. 监控这一块自己的想法是自己利用Python写一个agent,把数据发送到WEB这台机器上面,然后通过highcharts绘图. 之所以不用cacti的原因是,自己想监控的东西只有内存,CPU,硬盘等硬件信息,觉得想监控的东西不是很多,没有必要用cacti.还有就是喜欢用自己的东西,感觉更有成就感. 好了,废话不多说,直接上图解.如果有想交流的可以加群:330639584 下面是项目中的部分图解: 一个不错的项目(psdash),能清楚的返回机器的性能情况..而且每3秒钟会自动刷新,我自己改成了5秒.类似top吧. 一个设备信息管理,,可以看到每台机器的硬件信息,,实时监控就是上图的psdash,,历史监控用的是monitorix,类似cacti..能查询到服务器的性能使用情况,网络流量,等..同时也能查询到一些服务的流量等(mysql, ssh, ftp等). 以前修改客户端参数,

超强干货!通过filebeat、logstash、rsyslog 几种方式采集 nginx 日志

☆樱花仙子☆ 提交于 2020-07-29 09:47:50
由于nginx功能强大,性能突出,越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。 本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。 大家都知道ELK技术栈是采集、分析日志的利器。所以这里介绍的是从nginx采集日志到ES。当然至于日志采集以后存到看大家的需要。通过logstash可以方便的配置日志输出存储的方式。 一般来说nginx默认安装后,日志文件在 /usr/local/nginx/logs 目录下。分别有 access.log和error.log 访问日志和错误日志。 这次示例Elasitcsearch是三个节点组成的集群172.28.65.22、172.28.65.23、172.28.65.24,172.28.65.30 是kibana的地址,172.28.65.32是数据采集服务器,上面装有logstash、nginx、 filebeat。一般来说采集服务器上有logstash,而nginx、 filebeat应该是装在采集目标上。 一、直接通过filebeat采集日志到ES 在filebeat的安装目录找到filebeat.yml

linux CentOS7 安装Haproxy,实现Tcp四层负载均衡

人盡茶涼 提交于 2020-07-28 10:19:37
跨区域部署业务时,为最小化部署,使用正向代理将请求转发到中心服务器,转发请求包括http 和 tcp。当然Haproxy也是可以做负载均衡的,尤其是在多TCP后端服务器部署下。 HAProxy 是一款提供高可用性、负载均衡以及基于TCP(第四层)和HTTP(第七层)应用的代理软件,支持虚拟主机,它是免费、快速并且可靠的一种解决方案。 服务器环境: CentOS Linux release 7.8 安装方式,yum安装,Root权限。 注意CentOS 8安装时会不一样 查找yum源中的haproxy: # yum list | grep haproxy haproxy.x86_64 1.5.18-9.el7 @base pcp-pmda-haproxy.x86_64 4.3.2-7.el7_8 updates 创建日志目录: # mkdir /var/log/haproxy # chmod a+w /var/log/haproxy 开启rsyslog记录haproxy日志: # vim /etc/rsyslog.conf # Provides UDP syslog reception $ModLoad imudp # $UDPServerRun 514 # haproxy log local0.* /var/log/haproxy/haproxy.log # 添加 修改 /etc

小知识:RHEL7上设置Keepalived日志重定向

一笑奈何 提交于 2020-07-28 07:57:05
1.配置 /etc/sysconfig/keepalived 文件 2.添加keepalived日志保存位置的配置 3.修改 /lib/systemd/system/keepalived.service 文件 之前在 MySQL主主+Keepalived架构安装部署 也有描述Keepalived日志重定向的部分,其中提到RHEL7(实际是RHEL6.8以上)要配置rsyslog,回顾下之前的配置,主要就是改两个地方: 1.配置 /etc/sysconfig/keepalived 文件 vi /etc/sysconfig/keepalived 修改KEEPALIVED_OPTIONS的值: # Options for keepalived. See `keepalived --help' output and keepalived(8) and # keepalived.conf(5) man pages for a list of all options. Here are the most # common ones : # # --vrrp -P Only run with VRRP subsystem. # --check -C Only run with Health-checker subsystem. # --dont-release-vrrp -V Dont

rsyslog filtering and forwarding

半腔热情 提交于 2020-07-21 04:23:30
问题 I'm trying to acheive filtering and forwarding using a rsyslog vm. When i use *.* @@192.168.1.100:514 it forwards all logs to that log server. What i need to do is filter out logs that contain 'testing' and 'flow' and also prevent logs from localhost from being sent to the log server. I have tried many ways of achieving this combination and failed. I just don't receive any logs to the destination once i use filters. The remaining full contents of the rsyslog.conf is # rsyslog configuration

can not read correctly from STDIN

拥有回忆 提交于 2020-05-28 07:46:24
问题 I have a weird problem to read from STDIN in a python script. Here is my use case. I have rsyslog configured with an output module so rsyslog can pipe log messages to my Python script. My Python script is really trivial : #! /usr/bin/env python # -*- coding: utf-8 -*- import sys fd = open('/tmp/testrsyslogomoutput.txt', 'a') fd.write("Receiving log message : \n%s\n" % ('-'.join(sys.stdin.readlines()))) fd.close() If I run echo "foo" | mypythonscript.py I can get "foo" in the target file /tmp

can not read correctly from STDIN

浪尽此生 提交于 2020-05-28 07:43:24
问题 I have a weird problem to read from STDIN in a python script. Here is my use case. I have rsyslog configured with an output module so rsyslog can pipe log messages to my Python script. My Python script is really trivial : #! /usr/bin/env python # -*- coding: utf-8 -*- import sys fd = open('/tmp/testrsyslogomoutput.txt', 'a') fd.write("Receiving log message : \n%s\n" % ('-'.join(sys.stdin.readlines()))) fd.close() If I run echo "foo" | mypythonscript.py I can get "foo" in the target file /tmp

can not read correctly from STDIN

对着背影说爱祢 提交于 2020-05-28 07:43:10
问题 I have a weird problem to read from STDIN in a python script. Here is my use case. I have rsyslog configured with an output module so rsyslog can pipe log messages to my Python script. My Python script is really trivial : #! /usr/bin/env python # -*- coding: utf-8 -*- import sys fd = open('/tmp/testrsyslogomoutput.txt', 'a') fd.write("Receiving log message : \n%s\n" % ('-'.join(sys.stdin.readlines()))) fd.close() If I run echo "foo" | mypythonscript.py I can get "foo" in the target file /tmp

linux下安装keepalived

匆匆过客 提交于 2020-05-07 02:26:04
keepalived 安装文档 1. 安装环境 su - root yum -y install kernel-devel* yum -y install openssl-* yum -y install popt-devel yum -y install lrzsz yum -y install openssh-clients yum -y install libnl libnl-devel popt 2. 安装 keepalived 2.1. 安装 keepalived 将keepalived-1.2.15.tar.gz 上传到服务器 /usr/local/ 下。 cd /usr/local tar -zxvf keepalived-1.2.15.tar.gz cd keepalived-1.2.15 执行配置命令 ./configure --prefix=/usr/local/keepalived 3 、编译 make 4 、安装 make install 至此安装成功 5、拷贝执行文件 cp /usr/local/keepalived/sbin/keepalived /usr/sbin/ 6 、将 init.d 文件拷贝到 etc 下 , 加入开机启动项 cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc

Linux服务器上创建日志服务器和FTP服务器

a 夏天 提交于 2020-05-02 21:50:16
参考地址:        http://www.111cn.net/sys/CentOS/81133.htm        https://www.cnblogs.com/laoxiajiadeyun/p/9943742.html        https://blog.51cto.com/liqingbiao/2119953        https://www.cnblogs.com/hasayaki/archive/2013/01/24/2874889.html 在 Linux 上配置一个 syslog 服务器 syslog服务器可以用作一个网络中的日志监控中心,所有能够通过网络来发送日志的设施(包含了Linux或Windows服务器,路由器,交换机以及其他主机)都可以把日志发送给它。 通过设置一个syslog服务器,可以将不同设施/主机发送的日志,过滤和合并到一个独立的位置,这样使得你更容易地查看和获取重要的日志消息。 rsyslog 作为标准的syslog守护进程,预装在了大多数的Linux发行版中。在客户端/服务器架构的配置下,rsyslog同时扮演了两种角色:1.作为一个syslog服务器,rsyslog可以收集来自其他设施的日志信息;2.作为一个syslog客户端,rsyslog可以将其内部的日志信息传输到远程的syslog服务器。 在此