Elastic

最近正在学习服务器应用平台的搭建的相关知识。有幸从朋友与书上了解到Elastic套件的使用，我花了两天的时间把最新的套件部署在我的服务器上，中间踩了数不清的坑。我把整个过程都记录了下来与各位有需要的朋友们分享一下。 Update 经过测试该安装破解方案已兼容Elasticsearch6.4.2至Kibana6.5.1版本 环境说明 操作系统：CentOS 7.5 腾讯云公共镜像 最低配置：1核2G（容易崩溃） 建议配置：2核4G（比较稳定） 推荐配置：越强越好（有钱真好） 软件来源：官方yum源，官网网站：https://www.elastic.co/ 本文中使用的代码方式已在腾讯云服务器实际测试过，安装过程采用yum安装，若用rpm安装应该差异不大。 最近一次成功配置服务的时间为：2018-10-22，若因为版本更新导致本文的配置方案有初入或者失效的请见谅。 若有配置维护等问题欢迎讨论（其实我也是刚刚入门），联系我：mailto@wolfbolin.com 准备工作 首先你可以给自己的主机起一个好听的名字，方便在未来区分不同的主机 hostnamectl set-hostname xxx 最好把系统上已有的应用更新到最新版本 yum update -y Elasticsearch需要Java 1.8.0_131或更高版本，方便起见可以直接安装OpenJDK

https://www.elastic.co/guide/index.html （推荐） ES官方英文原版文档，一般会更新到最新版本 https://www.elastic.co/cn/downloads/ ES下载地址 https://www.cnblogs.com/zhuwenjoyce/p/10632628.html 安装jdk1.8 下载 Elasticsearch6.7.0 cd /home/soft wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.7.0.tar.gz 建议离线下载elasticsearch tar -zxvf elasticsearch-6.7.0.tar.gz 解压 ./bin/elasticsearch 尝试启动ES 备注： network.host: 0.0.0.0 如需远程连接ES，需修改elasticsearch.yml，把其中的network.host改成0.0.0.0 不能以root用户启动 can not run elasticsearch as root useradd elastic 新建linux用户elastic chown -R elastic:elastic elasticsearch-6.7.0

Elastic Stack传统上由三个主要组件（ El asticsearch， L ogstash和 K ibana）组成，早已脱离了这种组合，现在也可以与名为“ Beats”的第四个元素结合使用--一个针对不同用例的日志运送者系列。 现在网上有一种说法叫做ELKB，这里的B就是指的beats. 本教程为刚刚熟悉堆栈的用户提供了指南，并提供了开始使用不同节奏的信息-Filebeat，Packetbeat，Metricbeat，Auditbeat，Heartbeat，Winlogbeat和Functionbeat。 一点点历史 在集中式日志记录中，数据管道包括三个主要阶段：聚合，处理和存储。 在ELK堆栈中，传统上，前两个阶段是堆栈工作量Logstash的职责。执行这些任务需要付出一定的代价。 由于与Logstash的设计有关的内在问题，性能问题变得经常发生，尤其是在复杂的管道需要大量处理的情况下。将Logstash的部分职责外包的想法也应运而生，尤其是将数据提取任务转移到其他工具上。 正如我在本文中所描述的，这个想法首先在Lumberjack中体现出来，然后在Logstash转发器中体现出来。 最终，在随后的几个开发周期中，引入了新的改进协议，该协议成为现在所谓的“ Beats”家族的骨干。 Beats到底是什么呢？ Beats是轻量级（资源高效，无依赖性，小型

Elastic Stack是一套完整的从数据采集，解析，分析，丰富，到搜索，检索，数据程序等一套完整的软件栈。在具体的实践中，我们应该如何搭建我们的系统呢？ 下图描述了常用的Elastic Stack的部署架构： 该图描述了三种可能的体系结构： 将操作指标直接发送到Elasticsearch ：如上图所示，您将在要从其发送操作指标/日志的边缘服务器上安装各种类型的Beats，例如Metricbeat，Filebeat，Packetbeat等。 如果不需要进一步处理，那么可以将生成的事件直接传送到Elasticsearch集群。 一旦数据出现在Elasticsearch中，就可以使用Kibana对其进行可视化/分析。 在这种体系结构中，事件流将是 Beats→Elasticsearch→Kibana 。当然如果您需要做进一步的处理，您也可以通过ingest node的pipleline帮助实现。 将操作指标发送到Logstash ：Beats捕获并安装在边缘服务器上的操作指标/日志将发送到Logstash进行进一步处理，例如解析日志或丰富日志事件。 然后，已解析/丰富的事件被推送到Elasticsearch。 为了提高处理能力，您可以扩展Logstash实例，例如，通过配置一组Beats将数据发送到Logstash实例1，并配置另一组Beats将数据发送到Logstash实例2

Beats作为Elastic Stack家族中重要的部分。它可以和方便地让我们把我们的数据发送到Elasticsearch或Logstash之中。如果我们想要生成自己的Beat，请使用GitHub的beats仓库中提供的Beat生成器。在今天的文章中，我们将详细介绍如何一步一步地来创建一个我们自己想要的beat。 设置自己的开发环境 安装go环境 Beats实际上是 go 程序。我们可以参照链接“ Go get started ”来安装自己的golang语言开发环境。等我们安装好我们的go后，我们可以在terminal中打入如下的命令： $ which go /usr/local/go/bin/go 那么我们需要在我们的环境中设置如下的变量： export GOROOT=/usr/local/go export PATH=$GOPATH/bin:$GOROOT/bin:$PATH export GOPATH=$HOME/go/beats 在这里，我也设置了以GOPATH。你可以设置自己的路径。针对我的情况，我在我的home目录下创建了一个go目录，并在go目录下生产一个叫做beats的目录。在一下，我们会在这个目录里生成我们的定制的beat。 下载Elastic beats源码 在这一步我们下载Elastic beats的源码。在termnial中打入如下的命令： mkdir -p

Winlogbeat 是Windows事件日志的轻量级数据发送器。 虽然Elastic群集通常用于实时监视，但是可以对Winlogbeat进行调整，以手动将“冷日志”或旧的非活动Windows事件日志（EVTX）手动发送给Elastic Stack。 该功能使分析人员可以从收集的系统图像中提取EVTX文件，并利用Elastic堆栈的功能进行调查。 这为使用Elastic Stack作为DFIR分析人员的事后调查工具打开了大门，而不仅仅是实时分析。 该帖子介绍了参与此过程的可能方法。 你需要准备的 运行正常的Elastic堆栈（不需要Logstash） - 单节点或多节点均可接受。对于还没有安装Elasticsearch及Kibana的开发者来说，请参阅文章“ Elastic：菜鸟上手指南 ”。 Ubuntu， MacOS 或CentOS作为您的Elastic Stack Node OS Windows主机从以下位置发送EVTX日志文件 Winlogbeat数据发送器 它是如何工作的 Winlogbeat是由Elastic创建的数据传送器，用于在发生时将“热”或实时EVTX文件发送到Elastic堆栈。 这样就可以基于记录的实时事件实时监视系统。 对于数字取证调查员来说，这些数据通常从不热，而从冷的角度出发-是从在特定时间点锁定的系统的图像中收集的。 对于所有设置和配置

您们好，我们是Elastic的刘晓国。如果大家想开始学习Elastic的话，那么这里将是你理想的学习园地。在我的博客几乎涵盖了你想学习的许多方面。在这里，我来讲述一下作为一个菜鸟该如何阅读我的这些博客文章。 我们可以按照如下的步骤来学习： Elasticsearch简介 ：对Elasticsearch做了一个简单的介绍 Elasticsearch中的一些重要概念:cluster, node, index, document, shards及replica ：对Elastic Stack里的一些重要的概念做描述。理解这些概念对于我们学习和使用Elastic是非常重要的 如何在Linux，MacOS及Windows上进行安装Elasticsearch ：在我们常用的操作系统上进行安装Elasticsearch 如何在Linux及MacOS上安装Elastic栈中的Kibana ：讲述如何在我们的操作系统上安装Kibana 开始使用Elasticsearch （1） : 了解如何创建index，添加，删除，更新文档 开始使用Elasticsearch （2 ）：了解如何进行搜索 开始使用Elasticsearch （3 ）：了解如何进行分析数据: analyze及aggregate数据 等我们完成了上面的阅读和练习后，我们会对Elasticsearch有一个基本的了解