Elastic

转载自： https://blog.csdn.net/UbuntuTouch/article/details/105922198 Logstash模式： https://www.elastic.co/guide/en/logstash/current/plugins-filters-grok.html 来源： oschina 链接： https://my.oschina.net/u/4306166/blog/4269271

Elasticsearch,Kibana,Logstash,NLog实现ASP.NET Core 分布式日志系统 Elasticsearch 官方网站 Elasticsearch 文档 NLog.Targets.ElasticSearch package Elasticsearch - 简介 Elasticsearch 作为核心的部分，是一个具有强大索引功能的文档存储库，并且可以通过 REST API 来搜索数据。 它使用 Java 编写，基于 Apache Lucene ，尽管这些细节隐藏在 API 中。 通过被索引的字段，可以用许多不同的聚合方式找到任何被存储(索引)的文档。 但是，ElasticSearch不仅仅只提供对这些被索引文档的强大搜索功能。 快速、分布式、水平扩展，支持实时文档存储和分析，支持数百台服务器和 PB 级索引数据。 同时作为 Elastic stack (aka ELK) 的核心，提供了诸如 LogStash、Kibana 和更多的强大应用。 Kibana 是 Elasticsearch 中专门提供强有力的可视化查询Web应用程序。 使用Kibana，能非常简单地为 Elasticsearch 中索引的数据创建查询、图表和仪表盘。 Elasticsearch开放了一个 REST API，你会发现许多文档示例是 HTTP 调用，你可以尝试使用 curl 或

这个是最新的elk+redis搭建日志分析平台，今年时间是2015年9月11日。 Elk分别为 elasticsearch，logstash， kibana 官网为： https://www.elastic.co/products Elasticsearch: https://www.elastic.co/downloads/elasticsearch https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-1.7.1.tar.gz logstash: https://www.elastic.co/downloads/logstash https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz kibana: https://www.elastic.co/products/kibana https://download.elastic.co/kibana/kibana/kibana-4.1.2-linux-x64.tar.gz 先说一下规划 192.168.15.62为日志查看服务器，该机器需要安装redis, elasticserch, logstatsh, kibana这四个应用程序。 192.168.15.2

环境 操作系统：ubuntu16.04 软件版本： filebeat-6.2.2-linux-x86_64 步骤 官网 https://www.elastic.co/cn/products/beats/filebeat 下载 curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.2-linux-x86_64.tar.gz 注意版本需要与elasticsearch版本保持一样 解压 tar xzvf filebeat-6.2.2-linux-x86_64.tar.gz 移动 mv filebeat-6.2.2-linux-x86_64 /opt 进入 cd filebeat-6.2.2-linux-x86_64 输出至logstash 修改 filebeat.yml 以设置连接信息： output.logstash: hosts: ["localhost:5044"] 输出 至 elasticsearch 修改 filebeat.yml 以设置连接信息： output.elasticsearch: hosts: ["<es_url>"] username: "elastic" password: "<password>" setup.kibana: host: "<kibana

环境 操作系统：ubuntu16.04 软件版本： filebeat-6.2.2-linux-x86_64 步骤 官网 https://www.elastic.co/cn/ 下载 curl -L -O https://artifacts.elastic.co/downloads/logstash/logstash-6.6.2.tar.gz 注意版本需要与elasticsearch版本保持一样 解压 tar zvxf logstash-6.6.2.tar.gz 移动 mv logstash-6.6.2 /opt 进入 cd logstash-6.6.2/config 复制conf模板文件 cp logstash-sample.conf logstash.conf 修改默认配置 input { beats { port => 5044 } } output { elasticsearch { hosts => ["http://localhost:9200"] index => "%{[@metadata][beat]}-%{[@metadata][version]}-%{+YYYY.MM.dd}" #user => "elastic" #password => "changeme" } } 启动 ./bin/logstash -f ./config/logstash.conf

环境 操作系统：ubuntu16.04 软件版本：elasticsearch-oss-6.6.2 步骤 官网 https://www.elastic.co/cn/downloads/elasticsearch-oss 下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.6.2.tar.gz 解压 tar -zxf elasticsearch-6.6.2.tar.gz 移动文件 mv elasticsearch-6.6.2 /opt/ 更改配置 cd /opt/elasticsearch-6.6.2/config vim elasticsearch.yml # 开放以下配置 cluster.name: my-application node.name: node-1 network.host: 0.0.0.0 http.port: 9200 在elasticsearch配置文件中授权(elasticsearch-head查询集群用) vim /elasticsearch/elasticsearch.yml # elasticsearch中启用CORS http.cors.enabled: true # 允许访问的IP地址段，* 为所有IP都可以访问 http.cors.allow

很久没有怎么随记笔记了，今天这里是为了纠正一个一直以来我们使用es的一个误区，这个误区很大的可能你会就范。很多童靴会把update_by_query拿mysql的语法特性来用，那你就大错特错了，这里有必要温习下我之前的一篇 update_by_query ，理论上讲es的准实时的仅限于search，而get id则是实时的。 实践往往是检验真理的唯一标准，看下面演示吧 <!--1.关闭refresh--> http://xxx:9200/mytest_user/_settings { "index" : { "refresh_interval" : -1 } } <!--2.新增--> http://xxx:9200/mytest_user/_doc/2 { "product_type": "test", "product_code": "324049", "shop_code": "9N72" } <!--3.修改，可以并发但并没有发生更新丢失--> http://xxx:9200/mytest_user/_doc/2/_update { "doc" : { "name" : "new_name" } } http://xxx:9200/mytest_user/_doc/2/_update { "doc" : { "name" : "alex", "age" : 20 } } .

记录关于Elasticsearch的文档删除API的学习 首先官网上Document APIs介绍了 Delete API 和Delete By Query API。 Delete API 可以通过指定索引–>类型–>id的方式对文档进行删除 DELETE /index/type/1 1 响应body { "_shards" : { "total" : 2, "failed" : 0, "successful" : 2 }, "found" : true, "_index" : "index", "_type" : "type", "_id" : "1", "_version" : 2, "result": "deleted" } 1 2 3 4 5 6 7 8 9 10 11 12 13 Versioning 每个文档都会对应一个版本，当我们执行删除操作时，版本号也要指定。来确保执行删除时，没有同时执行写入操作。不论是写入操作还是删除操作，都会对文档的版本进行更改。所以当我们使用这个Delete API删除文档时，并不是真正意义上的删除，只是版本变化并且对文档增加了删除标记。当我们再次搜索的时候，会搜索全部然后过滤掉有删除标记的文档。如果数据量大的话，对搜索的性能有一定的影响。必须对它进行物理删除。 物理删除方法： 谈到物理删除，就是把删除的文档信息从磁盘空间中去掉

原文地址： https://medium.com/@hsiehjenhsuan/解決-elasticsearch-使用-java-high-level-rest-client-時出現-noclassdeffounderror-錯誤-10077fcda6b3 因為工作關係需要用到 Elasticsearch，評估過後決定使用 high-level REST client 來進行開發，但在環境建置上卻出現了一些問題 錯誤訊息如下： org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'restHighLevelClient' defined in class path resource [org/springframework/boot/autoconfigure/elasticsearch/rest/RestClientAutoConfiguration$RestHighLevelClientConfiguration.class]: Post-processing of merged bean definition failed; nested exception is java.lang.IllegalStateException: Failed to

原文地址： http://blog.daozys.com/goods_167.html 先认识几个东西： 1、Elasticsearch ： 开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制， restful 风格接口，多数据源，自动搜索负载等。 2、Logstash ： 完全开源的工具，对日志进行收集、分析，并将其存储供以后使用（如，搜索）。 3、kibana： 开源和免费的工具，Kibana 可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 一：centos7安装Elasticsearch 1：安装jdk： Elasticsearch基于java，先配置java环境。 （2）：我们到oracle去下载安装包： https://www.oracle.com/technetwork/java/javase/downloads/index.html 我这里用：jdk-11.0.4_linux-x64_bin.tar.gz （1）：安装jdk，先看看服务器上是否安装过java [root@localhost local]# java -version -bash: java: 未找到命令 下载上面的jdk tar -zxvf jdk-11.0.4_linux-x64