graylog

来自： 自由早晚乱余生 链接：https://www.cnblogs.com/operationhome/p/10907591.html Docker-CE Server Version : 18 .09.6 Storage Driver : overlay2 Kernel Version : 3 .10.0-862.el7.x86_64 Operating System : CentOS Linux 7 ( Core ) Docker 日志分为两类： Docker 引擎日志(也就是 dockerd 运行时的日志)， 容器的日志，容器内的服务产生的日志。 一 、Docker 引擎日志 Docker 引擎日志一般是交给了 Upstart(Ubuntu 14.04) 或者 systemd (CentOS 7, Ubuntu 16.04)。前者一般位于 /var/log/upstart/docker.log 下，后者我们一般 通过 journalctl -u docker 来进行查看。 系统 日志位置 Ubuntu(14.04) /var/log/upstart/docker.log Ubuntu(16.04) journalctl -u docker.service CentOS 7/RHEL 7/Fedora journalctl -u docker.service CoreOS

0x00 前言 具有一定规模的公司都会有自己的机房，当网络规模和硬件系统到达一定程度，就需要跟进各种安全预警防护手段，而蜜罐系统就是一种常见的防护手段之一，蜜罐主要是通过在网络环境当中，用虚拟各种真实服务的守护进程，去模拟各种常见的应用服务，比如http、mysql、FTP服务等。 一般情况下，蜜罐系统是模拟出来的服务，不具备提供真实服务的能力，比如有蜜罐监听的ftp端口21，但21端口其实只是一个空的监听，不能提供FTP服务，并且己方人员，知道蜜罐是一个报警装置，不会去刻意访问，只有不明身份的攻击者才有可能去访问蜜罐进行漏洞尝试探测。 简单说，蜜罐就是利用模拟真实服务的支技术手段，欺骗黑客让其误认为蜜罐就是真实服务，然后诱其攻击，取得攻击者的攻击Payload，攻击手段及相关威胁信息，第一时间告诉资产拥有者。 如果有人对蜜罐进行了大量的针对性操作，并且访问操作的Payload属于攻击数据，我们可以用蜜罐的报警日志，判断这个可能是一个可可疑的攻击行为，或是误碰蜜罐行为，虽然服务不是真实的服务，但攻击的的渗透Payload数据都是真实的。 一般可以在网络环境中，通过交换机的端口聚合技术，在一台机器上创建多个网段的IP，将流量引入集中到一台机器上，然后在这台机器上部署各个IP的监听，理想的状态下是可以提供这种机制的，如果不行也可以通过树莓派等手段，创建蜜罐

一.安装部署 1.Zabbix部署 2.Nessus简介与安装 3.Ceph安装 4.Graylog 安装 5.Centos6.10 安装Python 2.7.16 更新中... 二.Linux运维 更新中... 来源： oschina 链接： https://my.oschina.net/u/4275654/blog/4282064

elasticsearch中默认最大字段数1000个，实际上500左右就可能出现错误。 精简业务字段 2.手动修改elasticsearch 字段 curl -i -H "Content-Type: application/json" -X PUT -d "{\"index.mapping.total_fields.limit\":\"2100\"}" http://127.0.0.1:9200/index/_settings/ 3.将多个字段放入一个字段中 参考官方解释 https://www.elastic.co/guide/en/elasticsearch/reference/7.3/mapping.html#mapping-limit-settings Settings to prevent mappings explosion Defining too many fields in an index is a condition that can lead to a mapping explosion, which can cause out of memory errors and difficult situations to recover from. This problem may be more common than expected. As an

原文: 将日志输出到Docker容器外 1.1 使用 Docker 容器日志 我们可以利用 docker logs 命令查看 Docker 容器内部应用程序运行时所产生的日志，可以免除首先进入 Docker 容器，再打开应用程序的日志文件的过程。docker logs 会监控容器中操作系统的标准输出设备（STDOUT），一旦 STDOUT 有数据产生，就会将这些数据传输到另一个“设备”中，该 Docker 的被称为“日志驱动（Logging Driver）” 1.2 Docker 日志驱动 例如，我们有一个容器实例 ID 为 “da6743d61e1a” ，随后我们使用 docker logs 命令，查看 da6743d61e1a 容器的日志 docker logs -f da6743d61e1a 此时，Docker 日志也在同步输出，输出的日志类似下面这样。 . ____ _ __ _ _ /\\ / ___'_ __ _ _(_)_ __ __ _ \ \ \ \ ( ( )\___ | '_ | '_| | '_ \/ _` | \ \ \ \ \\/ ___)| |_)| | | | | || (_| | ) ) ) ) ' |____| .__|_| |_|_| |_\__, | / / / / =========|_|==============|___/=/_/_/_

rsyslog部署 因系统自带rsyslog所以不需要安装，如果没有则直接yum install rsyslog -y安装。 server端rsyslog.conf配置 vim /etc/rsyslog.conf 去掉以下项注释 $ModLoad imuxsock # provides support for local system logging (e.g. via logger command) $ModLoad imklog # provides kernel logging support (previously done by rklogd) $ModLoad imudp #开启支持upd的模块 $UDPServerRun 514 #允许接收udp 514的端口传来的日志 ModLoad imtcp #开启支持tcp的模块 $InputTCPServerRun 514 #允许接收tcp 514的端口传来的日志 在最后添加以下行 local5.* /var/log/history.log #将local类型5的日志存放到/var/log/history.log下 或在最后添加以下行 $template HistoryiLogFile, "/var/log/history/%HOSTNAME%.log" #以主机名为日志模板，模板名称为HistoryiLogFile if

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 1.3.2 日志监控 Docker日志 当一个容器启动的时候，它其实是docker deamon的一个子进程，docker daemon可以拿到容器里面进程的标准输出，然后通过自身的LogDriver模块来处理，LogDriver支持的方式很多，默认写到本地文件，也可以发送到syslog等。 Docker会默认收集应用程序的标准输出到一个json.log文件中，以一行一条JSON存储数据，文件的格式如下： {"log":"root@74205cdc7b53dd:/#ls\r\n","stream":"stdout","time":"xxx.155834526Z"} {"log":"root@74205cdc7b53dd:/#ls\r\n","stream":"stdout","time":"xxx.255834528Z"} Docker的这种日志存储方式可以在容器启动时通过指定log-driver进行配置，支持的log driver如下： Graylog日志管理 Graylog是一个开源的完整的日志管理工具，功能和ELK类似。Docker原生支持graylog协议，Graylog官方也提供了对Docker的支持，二者可以无缝衔接。Graylog官方提供了Dockerfile可以在Docker上部署日志系统

1. Graylog2 简介 　　Graylog 是一个简单易用、功能较全面的日志管理工具，相比 ELK 组合， 优点： 部署维护简单，一体化解决方案，不像ELK三个独立系统集成。 查相比ES json语法，搜索语法更加简单，如 source:mongo AND reponse_time_ms:>5000。 内置简单的告警。 可以将搜索条件导出为 json 格式文本，方便开发调用ES rest api搜索脚本。 自己开发采集日志的脚本，并用curl/nc发送到Graylog Server，发送格式是自定义的GELF，Flunted和Logstash都有相应的输出GELF消息的插件。自己开发带来很大的自由度。实际上只需要用inotifywait监控日志的modify事件，并把日志的新增行用curl/netcat发送到Graylog Server就可。 UI 比较友好，搜索结果高亮显示。 　　当然，在拓展性上，graylog还是不如ELK。 　　Graylog整体组成： Graylog提供 graylog 对外接口， CPU 密集 Elasticsearch 日志文件的持久化存储和检索， IO 密集 MongoDB 存储一些 Graylog 的配置 2. Graylog架构 　　单server架构 : 　　 　　Graylog集群架构 : 　　 3. Graylog安装