ElasticSearch

一、实验介绍 logstash-jdbc-input 是Logstash提供的官方插件之一，该插件通过JDBC接口将任何数据库中的数据导入 Logstash。关于使用 logstash-jdbc-input 插件从数据库中导出数据到es上，大部分是关于mysql数据库的导入。本篇文章是关于如何使用 logstash-jdbc-input 插件对mongodb的数据进行实时导入。 二、版本说明 本实验使用的ELK版本是7.6.2。 （这里想要补充一下，关于mongodb数据库的数据导入，另外一种常使用的插件是 mongo-connector ，但该插件仅支持到elasticsearch5.x，因此对于更高版本的elasticsearch更推荐使用本篇文章使用的方法。） 三、具体实现 1. 下载相关的jdbc-driver文件并解压 下载地址： https://dbschema.com/jdbc-drivers/MongoDbJdbcDriver.zip 解压安装包： unzip MongoDbJdbcDriver.zip (安装包里面包括三个 jar 包文件： gson-2.8.6.jar 、 mongo-java-driver-3.12.4.jar 、 mongojdbc2.1.jar ) 将所有文件（即三个jar包）复制到 (~/logstash-7.6.2/logstash

什么是ELK ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana , 它们都是开源软件。新增了一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 Elasticsearch Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的数据获取方式。一般工作方式为c/s架构，client端安装在需要收集日志的主机上，server端负责将收到的各节点日志进行过滤、修改等操作在一并发往elasticsearch上去。 Kibana Kibana 也是一个开源和免费的工具，Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助汇总、分析和搜索重要数据日志。 如何使用ELK ELK环境快速搭建 这里推荐使用 docker-compose 一键搭建 地址： https://github.com/deviantony/docker-elk

1. 日志平台的结构示意图 说明： 多个独立的agent(Shipper)负责收集不同来源的数据，一个中心agent(Indexer)负责汇总和分析数据，在中心agent前 的Broker(使用redis实现)作为缓冲区，中心agent后的ElasticSearch用于存储和搜索数据，前端的Kibana提供丰富的图表 展示。 Shipper表示日志收集，使用LogStash收集各种来源的日志数据，可以是系统日志、文件、redis、mq等等； Broker作为远程agent与中心agent之间的缓冲区，使用redis实现，一是可以提高系统的性能，二是可以提高系统的可靠性，当中心agent提取数据失败时，数据保存在redis中，而不至于丢失； 中心agent也是LogStash，从Broker中提取数据，可以执行相关的分析和处理(Filter)； ElasticSearch用于存储最终的数据，并提供搜索功能； Kibana提供一个简单、丰富的web界面，数据来自于ElasticSearch，支持各种查询、统计和展示； 2. 搭建部署 环境： 本机(20.8.40.49)上部署：redis, 中心agent(LogStash), ElasticSearch以及Kibana 远程测试机(20.20.79.75)上部署：独立agent(LogStash) Redis版本： 3.0.0-rc1

为了更好地支持交易业务的快速发展，马蜂窝支付中心从最初只支持基础支付和退款的「刀耕火种」阶段，经历了架构调整的「刮骨疗伤」阶段，完成了到实现综合产品平台形态的「沉淀蓄力」阶段的演进。 目前，马蜂窝支付中心集成了包括基础订单、收银台、路由管理、支付通道、清算核对、报表统计等多种能力，为马蜂窝度假（平台、定制）、交通（机票、火车票、用车）、酒店（开放平台、代理商）等近 20 条业务线提供服务。本文将围绕支付中心整体演变过程中不同阶段的核心部分进行简要介绍。 一、支付中心 1.0 初期为快速响应业务的支付、退款以及一些基础需求，支付中心主要负责接入支付通道（支付宝、微信、连连等），由各业务线分别实现收银台，然后调用支付中心进行支付。业务系统、支付中心和第三方通道的交互流程图如下： 各系统交互流程为： 业务线将订单信息封装后请求到支付中心 支付中心对订单信息简要处理后增加支付信息请求到第三方支付通道 第三方支付通道将支付结果异步回调到支付中心 支付中心将第三方响应的数据简易处理后同步通知到各业务系统 业务系统进行逻辑处理、用户通知及页面跳转等 业务发展初期，业务量较小，交易场景也比较单一，这样的设计可以快速响应业务需求，实现功能。但当业务复杂性不断提高，接入的业务也越来越多时，该架构就显得力不从心了。各业务线需要重复开发一些功能，并且支付中心不具备整体管控能力，开发维护成本越来越大

最近在电脑上开了三个虚拟机鼓捣了一下 ELK，配置成功之后，关闭虚拟机重新打开总是出现一些奇怪的问题，使得 kibana 处于不健康的状态，真是让人操碎了心。 一、前言 在搭建过程中，本人是依据以下两篇文章进行的，步骤明确，效果清晰。 1、 搭建ELK日志分析平台（上）—— ELK介绍及搭建 Elasticsearch 分布式集群 2、 搭建ELK日志分析平台（下）—— 搭建kibana和logstash服务器 以下记录本人在实现过程中遇到的问题以及最终解决的思路。 二、elasticsearch 集群状态不健康 1、问题描述 elasticsearch （以下简称 es） 集群状态处于 yellow 或者 red 状态，2 个数据节点未成功接入主节点，number_of_nodes 数量仍为 1，kibana 界面报错 503。 [root@server ~]# curl '192.168.100.15:9200/_cluster/health?pretty' { "cluster_name" : "server-node", "status" : "red", # 为 green 则代表健康没问题，如果是 yellow 或者 red 则是集群有问题 "timed_out" : false, # 是否有超时 "number_of_nodes" : 1, # 集群中的节点数量

线上 ELK 集群健康值 red 状态问题排查与解决 参考文章： （1）线上 ELK 集群健康值 red 状态问题排查与解决 （2）https://www.cnblogs.com/haifeiWu/p/9436775.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/stackoom/blog/4921061

https://blog.csdn.net/gwd1154978352/article/details/82781731 环境搭建篇 ElasticSearch教程——安装 ElasticSearch教程——安装Head插件 ElasticSearch教程——安装IK分词器插件 ElasticSearch教程——安装Kibana 基础操作 ElasticSearch教程——Kibana简单操作ES ElasticSearch教程——批量处理（mget和bulk） ElasticSearch教程——kibana嵌套聚合，下钻分析，聚合分析 基础知识篇 ElasticSearch教程——基本概念及核心配置文件详解 ElasticSearch教程——倒排索引及其数据结构以及优缺点 ElasticSearch教程——创建索引、类型、文档 ElasticSearch教程——分片、扩容以及容错机制 ElasticSearch教程——并发问题与锁机制 ElasticSearch教程——partial update（更新文档）实现原理及并发控制 ElasticSearch教程——document以及CURD原理 ElasticSearch教程——数据一致性 ElasticSearch教程——Search相关、deep paging问题及解决方案 ElasticSearch教程——mapping详解