kibana

由于nginx功能强大，性能突出，越来越多的web应用采用nginx作为http和反向代理的web服务器。而nginx的访问日志不管是做用户行为分析还是安全分析都是非常重要的数据源之一。如何有效便捷的采集nginx的日志进行有效的分析成为大家关注的问题。 本文通过几个实例来介绍如何通过filebeat、logstash、rsyslog采集nginx的访问日志和错误日志。 大家都知道ELK技术栈是采集、分析日志的利器。所以这里介绍的是从nginx采集日志到ES。当然至于日志采集以后存到看大家的需要。通过logstash可以方便的配置日志输出存储的方式。 一般来说nginx默认安装后，日志文件在 /usr/local/nginx/logs 目录下。分别有 access.log和error.log 访问日志和错误日志。 这次示例Elasitcsearch是三个节点组成的集群172.28.65.22、172.28.65.23、172.28.65.24，172.28.65.30 是kibana的地址，172.28.65.32是数据采集服务器，上面装有logstash、nginx、 filebeat。一般来说采集服务器上有logstash，而nginx、 filebeat应该是装在采集目标上。 一、直接通过filebeat采集日志到ES 在filebeat的安装目录找到filebeat.yml

前言 起源 许多年前，一个刚结婚的名叫 Shay Banon 的失业开发者，跟着他的妻子去了伦敦，他的妻子在那里学习厨师。 在寻找一个赚钱的工作的时候，为了给他的妻子做一个食谱搜索引擎，他开始使用 Lucene 的一个早期版本。 直接使用 Lucene 是很难的，因此 Shay 开始做一个抽象层，Java 开发者使用它可以很简单的给他们的程序添加搜索功能。 他发布了他的第一个开源项目 Compass。 后来 Shay 获得了一份工作，主要是高性能，分布式环境下的内存数据网格。这个对于高性能，实时，分布式搜索引擎的需求尤为突出， 他决定重写 Compass，把它变为一个独立的服务并取名 Elasticsearch。 第一个公开版本在2010年2月发布，从此以后，Elasticsearch 已经成为了 Github 上最活跃的项目之一，他拥有超过300名 contributors(目前736名 contributors )。 一家公司已经开始围绕 Elasticsearch 提供商业服务，并开发新的特性，但是，Elasticsearch 将永远开源并对所有人可用。 据说，Shay 的妻子还在等着她的食谱搜索引擎…​ 设计思路如下 有3台机器 2台做elasticsearch的主副节点 1台做kibana和elasticsearch_head

官网 https://wazuh.com/ 如果服务器可以联网，直接参照官网文档部署即可。 为方便安装，选择手动下载rpm包进行安装 wazuh相关下载地址：https://documentation.wazuh.com/3.12/installation-guide/packages-list/index.html#linux ES下载相关地址：https://www.elastic.co/cn/downloads/ 内网无法使用网络源，因此选择先将rpm包在可以联网的机器下载下来，再上传到内网服务器安装，可以使用yumdownloader命令。 yum install yum-utils 语法：yumdownloader rpmname --resolve --destdir=/path ##resolve 下载依赖包 一、安装Wazuh 安装Wazuh-manager rpm -ivh wazuh-manager-3.12.3-1.x86_64.rpm systemctl status wazuh-manager #安装完成会自动启动 安装Wazuh-API #安装Wazuh-API需要nodejs> = 4.6.1，因此首先安装nodejs rpm -ivh nodejs-10.21.0-1nodesource.x86_64.rpm rpm -ivh wazuh-api-3

为了更方便的操作elasticsearch，我们需要安装kibana kibana提供了一个开发工具，可以很方便的操作elasticsearch 打开kibana官网下载页面 https://www.elastic.co/cn/downloads/kibana 安装kibana 修改kibana相关配置 vim /etc/kibana/kibana.yml 重启elasticsearch，然后启动kibana 最开始我们通过root用户来启动kibana会发现提示不应该使用root用户来运行它的，如果想用root来运行，必须明确指明 --allow-root 来运行，这是kibana的安全保护机制，所以我们尽可能的不要使用root来启动kibana，当我们使用RPM方式安装kibana的时候，就默认给我们创建了名为kibana的用户，我们应当像管理Elasticsearch那样通过systemctl来管理kibana sudo systemctl daemon-reload sudo systemctl enable kibana.service 这样以后我们就可以通过systemctl来管理kibana的开启与关闭了 systemctl status kibana.service # 查看kibana状态 systemctl start kibana.service #

配置Nginx 日志 Nginx 默认的access 日志为log格式，需要logstash 进行正则匹配和清洗处理，从而极大的增加了logstash的压力 所以我们Nginx 的日志修改为json 格式 。 Nginx access 日志和 Nginx error 日志 http { include /etc/nginx/mime.types; default_type application/octet-stream; log_format json '{"@timestamp":"$time_iso8601",' '"server_addr":"$server_addr",' '"hostname":"$hostname",' '"remote_add":"$remote_addr",' '"request_method":"$request_method",' '"scheme":"$scheme",' '"server_name":"$server_name",' '"http_referer":"$http_referer",' '"request_uri":"$request_uri",' '"args":"$args",' '"body_bytes_sent":$body_bytes_sent,' '"status": $status,' '"request

文章目录 以后再也不用安装安装 tons of beats 了！ 解锁Ingest manager页面 先决条件 Ingest manager组件简介 集成（Integrations） 新的索引策略 配置（Configurations） Fleet 数据流（Data Streams） Elastic Agent 总结 以后再也不用安装安装 tons of beats 了！ 用过Elastic Stack，用过ELK的小伙伴都知道，Elastic目前提供的数据采集方案主要是基于Beats。这是一个软件族，包括了多个组件： Beats是用Go语言编写的轻量级的数据采集群，它具有以下特点： 从多个数据源采集 运行在多种终端上 Docker 和 k8s 支持Cloud的元数据 70+ 社区制造的Beats 50+ 模块 虽然通过beats，我们可以开箱即用的采集大量的数据源 但其按照意图区分多个不同软件的方式也给我们带来了不便。通常情况下，如果我们需要采集多维度的数据，就需要在一个主机上安装多个beats，比如，filebeat用于日志采集，metricbeat用于指标采集，auditbeat用于审计/安全数据的采集。客观上，从软件安装/删除，软件配置更改，软件升级等方面增加了我们对于agent的运维管理工作量。 为了解决这个问题，Elastic推出了数据摄入模块的整体解决方案

疫情来势凶猛，腾讯课堂“停课不停学”专项为千万学子保驾护航。面对一个月内课堂流量的暴涨，监控体系如何在有限的时间内快速发现潜在问题并高效定位，进而保证服务稳定？本文是对腾讯课堂监控实践的总结，并且对未来监控体系提出一些思考。 一、遇到的挑战 腾讯课堂PCU从5w暴增到600w，接入层QPS从1.4w涨到65w，如何对海量请求进行监控，快速发现并解决问题成了很大的挑战。拆分到具体细节，主要有以下几点： 如何通过监控保障服务质量？ 需要监控哪些指标？需要使用哪些监控工具？ 需要对哪些指标进行告警？告警具体有哪些方法？ 如何保证告警之后处理流程的高效？ 除了监控、告警外，还有哪些方法可以用来保证服务的稳定？ 二、应对策略 1. 明确思路：快速监控业务，后续逐步优化 随着极速版、公立校版陆续上线，PCU也迅速上涨到百万量级。各服务已经通过扩容来抗住了剧增的流量，但此时没有太多时间来推动各系统排查隐患进行优化，就需要通过监控系统来监测业务稳定，基于错误码维度的业务告警来发现问题，推动各系统针对性地进行处理优化，业务稳定后再将优化监控，覆盖到更多维度的指标，进一步提升服务稳定性。 2. 监控工具 作为管理基础设施和业务的核心工具，监控是公司各业务必不可少的能力 ，腾讯课堂也在公司和业界种类繁多的监控系统中选择了适合目前现状的监控工具。 （1）质量看板 作为从Kibana分化出来的Grafana

导读： Elasticsearch是一个分布式的搜索和分析引擎，可以用于全文检索、结构化检索和分析，并能将这三者结合起来。Elasticsearch基于Lucene开发，现在是使用最广的开源搜索引擎之一。Elasticsearch可以应用于在/离线日志流水、用户标签画像、数据库二级缓存、安全风控行为数据、图数据库索引、监控数据、Wiki文档检索等应用场景。58同城有自己的主搜，而一些内部创新搜索业务和大规模的数据实时OLAP ( On-Line Analytical Processing，联机分析处理 ) 则是使用Elasticsearch。 本次分享的主题为58同城Elasticsearch应用及平台建设实践。主要内容包括： 集群优化治理 典型应用实践 自动化平台建设 后续规划 01 集群优化治理 1. 背景 早期Elasticsearch分布在58内的各个业务部门自主维护，但是随着Elasticsearch自身的功能加强，各业务团队使用Elasticsearch的数量越来越多、使用的业务场景越来越重要，于是由数据库部门对整个公司的Elasticsearch使用进行了收敛管理，在这个过程中数据库部门同学遇到了很多问题和挑战，具体如下：业务使用场景复杂多样；Elasticsearch版本不统一；应用与Elasticsearch数据服务混合部署；缺乏有效监控；服务器硬件型号多样

　　　　 最近在用docker 安装elasticsearch + kibana 遇到了很多坑，最后成功安装elasticsearch + kibana （6.8.1）版本 　　 安装了一下午，现总结过程中遇到的各种坑，希望能帮助需要的朋友！ 本文较长，要有耐心哦！ 话不多说，博主阿里云服务器CentOS 7.6 第一步：安装docker 参考链接 https://www.cnblogs.com/yufeng218/p/8370670.html 第二步：docker 安装elasticsearch 　 大坑1 ：博主安装了多个elasticsearch 版本，查找了很多资料，第一次安装elasticsearch 7.1.1版本，安装之后启动elasticsearch 后各种问题如下： 　　错误1：bootstrap checks failed [1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] [2]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discover 　

文章目录 一、ES（elasticsearch）简介 二、ES（elasticsearch）安装前的准备(elk安装包版本要求一致) 三、ELK的安装 四、ES（elasticsearch）的配置 五、Head-master及node的配置 六、使用Head-master对ES进行测试 七、kibana安装，配置和实例 一、ES（elasticsearch）简介 ES是一个基于RESTful web接口并且构建在Apache Lucene之上的开源分布式搜索引擎。 特点是：高可用，高扩展，是一种NOSQL的数据存储工具 二、ES（elasticsearch）安装前的准备(elk安装包版本要求一致) 百度网盘地址 elk相关文件 下载：elasticsearch-6.2.2.tar.gz elasticsearch-head-master.zip kibana-6.2.2-linux-x86_64.tar.gz logstash-6.2.2.tar.gz node-v8.9.1-linux-x64.tar.gz 三、ELK的安装 1．把下载好的安装包，拖拽到/software目录中 2．输入：yum install -y unzip 下载解压缩工具 3．输入：cd /software 进入安装包目录，输入ll可以查看目录中的文件 4．输入：tar -zxvf