X-Pack

一段时间没关注ELK（elasticsearch —— 搜索引擎，可用于存储、索引日志, logstash —— 可用于日志传输、转换，kibana —— WebUI，将日志可视化），发现最新版已到7.4了。所以别问程序员为什么这么忙？因为不是在加班就是在学习新框架中。 本文整理了使用Docker来快速搭建一套ELK日志分析系统的方法。 1. 部署elk github上有人整理了一套使用docker compose来部署elk的配置，可直接下载使用。 git clone https://github.com/deviantony/docker-elk.git 如果没有git，那就安装一下（ yum install git ），或者直接下载github仓库的源码包。 当前是基于7.2.1版（docker-elk目录下.env文件中定义，可修改）。 调整一下相应的配置。 修改docker-compose，设置es密码等， vim docker-compose.yml # 在elasticsearch部分设置环境变量，将jvm堆内存增大到了1g，设置es elastic用户的密码 environment: ES_JAVA_OPTS: "-Xmx1g -Xms1g" ELASTIC_PASSWORD: Passw0rd # 将logstash的端口映射从默认的5000改为5044

kibana从5.6升级到6.8 下载kibana和elasticsearch的tar包 解压之后进入到kibana-6.8.5/config，和elasticsearch/config 如下报错： missing authentication token for REST request [/_template/.kibana_task_manager?include_type_name=true&filter_path=*.version] 解决办法 进入 elasticsearch/bin 目录，输入命令： ./elasticsearch-setup-passwords 不要进入xpack目录下去执行 setup-passwords ，会失败。 这一步是创建用户名和密码，我输入的用户名是 elastic ，密码是 changeme 。 然后进入 kibana-6.8.5/config/ 目录 vim kibana.yml 输入以下内容： elasticsearch.username: "elastic" elasticsearch.password: "changeme" 其他参数修改： server.host: "127.0.0.1" elasticsearch.hosts: "http://127.0.0.1:9200" kibana.index: ".kibana"

【推荐阅读】微服务还能火多久？>>> 转载自： https://mp.weixin.qq.com/s?__biz=MzUyNzk0NTI4MQ==&mid=2247483822&idx=1&sn=6813b22eb5bd3a727a56e0fb5ba3f7fb&chksm=fa769a80cd011396cb6717124ebb9fb17bbff2f9d1fbcae50578cb2959225055cce0268d3633&mpshare=1&scene=1&srcid=1205igKg8cJK4Owayo9UNt4Q&sharer_sharetime=1575553256278&sharer_shareid=6ec87ec9a11a0c18d61cde7663a9ef87#rd 基于TLS实现ElasticSearch集群加密通讯，为ES集群创建CA、CERT证书，实现ElasticSearch集群之间数据通过TLS进行双向加密交互。 Step1. 关闭服务 首先，需要停止所有ElasticSearch、kibana、filebeat服务，待证书配置完成后再启动 Step2. 创建CA证书 找任一一台ElasticSearch节点服务器操作即可 cd /opt/elasticsearch/ # --days: 表示有效期多久 sudo -u elasticsearch ./bin

【推荐阅读】微服务还能火多久？>>> 首先查看docker启动日志 docker logs -f 容器id 　　 查看报错信息 OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release. [2019-11-24T11:17:55,311][WARN ][o.e.c.l.LogConfigurator ] [unknown] Some logging configurations have %marker but don't have %node_name. We will automatically add %node_name to the pattern to ease the migration for users who customize log4j2.properties but will stop this behavior in 7.0. You should manually replace `%node_name` with `[%node_name]%marker ` in these locations: /usr/share

Elasticsearch 在不同环境上支持的安装方式很多，有源码安装、二进制安装、 docker安装 、rpm包等管理器安装。 具体的，根据应用的实际情况选择即可。 完成可测试开发环境的建立后，需要进一步配置为生产环境做准备： 配置 Elasticsearch 。 配置重要的 Elasticsearch 设置 。 配置重要的系统设置 。 引导程序检查 让一些重要配置通过 WARNING 方式展现出来得到应有的关注。 Elasticsearch 在开发模式时，任何失败的引导检查会在 Elasticsearch 的日志中作为 WARNING 出现。 Elasticsearch 在生产模式时，任何失败的引导检查会导致 Elasticsearch 拒绝启动。 如果 Elasticsearch 节点无法通过非环回地址与另一台机器形成集群，则认为该节点处于开发模式， 如果它可以通过非环回地址加入集群，则该节点处于生产模式。 注意，可以通过 http.host 和 transport.host 独立配置 HTTP 和传输。这对于将单个节点配置为可通过 HTTP 进行访问以进行测试（而不触发生产模式）很有用。 　　【单节点 discovery】 　　通过配置 discovery.type = single-node 设置 　　【强制引导检查】 　　如果您在生产中运行单个节点，则可以逃避引导检查

1.前言 bboss ES SQL是针对es jdbc 的替代解决方案 bboss 提供一组sql和fetchQuery API，可替代官方es jdbc模块；采用bboss即可拥有bboss的客户端自动发现和容灾能力、对es、jdk、spring boot的兼容性能力，又可以拥有es jdbc的所有功能，同时还解决了因为引入es jdbc导致项目对es版本的强依赖和兼容性问题， 官方的ES-SQL功能必须Elasticsearch 6.3以上的版本才提供；Elasticsearch-SQL插件可以在不同的Elasticsearch版本上运行，可以根据实际情况进行选择。 2.pom.xml <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> <scope>runtime</scope> <optional>true</optional> </dependency>

The best elasticsearch highlevel java rest api-----bboss Elasticsearch 6.3以后的版本可以通过jdbc操作es，该功能还在不断的完善当中，本文介绍es jdbc使用方法。 1.首先在工程中导入es jdbc maven坐标： 导入elasticsearch jdbc驱动和bboss持久层 <dependency> <groupId>com.bbossgroups</groupId> <artifactId>bboss-persistent</artifactId> <version>5.6.2</version> </dependency> 在pom中添加elastic maven库 <repositories> <repository> <id>elastic.co</id> <url>https://artifacts.elastic.co/maven</url> </repository> </repositories> 如果是Elasticsearch 6.3.x(版本号务必与elasticsearch版本号保持一致)，导入下面的坐标： <dependency> <groupId>org.elasticsearch.plugin</groupId> <artifactId>jdbc<

使用Spring Data Elasticsearch连接elasticsearch时，正常情况下只需要在application.properites文件中添加如下配置即可连接： spring.data.elasticsearch.repositories.enabled = true spring.data.elasticsearch.cluster-name = es-cluster spring.data.elasticsearch.cluster-nodes = 127.0.0.1:9300 以看到Spring Data Elasticsearch连接elasticsearch很简单。 上面说的是正常情况，但是有些情况下连接需要验证。比如安装x-pack（旧版本的Shield、Marvel等）之后，访问elasticsearch就需要验证（未开启匿名访问），默认用户名/密码是：elastic/changeme，参考官方文档了解更多细节。 如果不做相应的修改就会报错 org.elasticsearch.transport.RemoteTransportException: [i9Vl_pG][10.111.27.202:9300][cluster:monitor/nodes/liveness] Caused by: org.elasticsearch

基于ES内置及自定义用户实现kibana和filebeat的认证 作者： “发颠的小狼” ，欢迎转载 目录 ▪ 用途 ▪ 关闭服务 ▪ elasticsearch-修改elasticsearch.yml配置 ▪ elasticsearch-开启服务 ▪ elasticsearch-建立本地内置用户 ▪ kibana-创建私钥库 ▪ kibana-WEB界面确认用户 ▪ filebeat-在WEB界面创建角色及用户 ▪ filebeat-服务器上创建密钥库 ▪ filebeat-配置filebeat.yml ▪ 测试 ▪ 附录 用途 前情提要： ▷ 在第一篇《EFK教程 - 快速入门指南》中，阐述了EFK的安装部署，其中ES的架构为三节点，即master、ingest、data角色同时部署在三台服务器上。 ▷ 在第二篇《EFK教程 - ElasticSearch高性能高可用架构》中，阐述了EFK的data/ingest/master角色的用途及分别部署三节点，在实现性能最大化的同时保障高可用。 ▷ 在第三篇《EFK教程(3) - ElasticSearch冷热数据分离》中，阐述了ES多实例部署，将不同热度的数据存在不同的磁盘上，实现了数据冷热分离、资源合理分配。 ▷ 在第四篇《EFK教程(4) - ElasticSearch集群TLS加密通讯》中，阐述了ES集群创建CA、CERT证书

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 报错问题描述： [2019-09-04T17:51:32,265][INFO ][o.e.c.c.JoinHelper ] [node18701] failed to join {node9701}{rh-c4DTFSsCr3fPYYAhGdQ}{UZxODZrbRey6NRl2gDBwiw}{192.168.1.97}{192.168.1.97:9301}{dim}{ml.machine_memory=8072921088, ml.max_open_jobs=20, xpack.installed=true} with JoinRequest{sourceNode={node18701}{Pj07gNlcRI6PVPZHBLYpkA}{14QtIqnJTVGXV7IyUbtyeA}{192.168.1.187}{192.168.1.187:9301}{di}{ml.machine_memory=8072921088, xpack.installed=true, ml.max_open_jobs=20}, optionalJoin=Optional[Join{term=6, lastAcceptedTerm=1, lastAcceptedVersion=1, sourceNode={node18701}