elk | 易学教程

Elasticsearch put role API

阅读更多关于 Elasticsearch put role API

问题 I started using the create role API and it works as expected : https://www.elastic.co/guide/en/elasticsearch/reference/current/security-api-put-role.html I got the list of default roles in elasticsearch, /_security/role but I don't know to create the following roles and not able to find the proper docs for it. I want to segregate the user based on the following needs, Role which has the privilege to perform only READ / WRITE in all the indices in Elastic Search (This role should not have

Elasticsearch put role API

阅读更多关于 Elasticsearch put role API

Streaming Cloudwatch Logs to Amazon ES

阅读更多关于 Streaming Cloudwatch Logs to Amazon ES

问题 I'm using Fargate to deploy my application. To log the container logs, I'm using awslogs as the log-driver. Now I want to ship my logs to Amazon ES service. While going through the docs for shipping, I encountered a note that mentions Streaming large amounts of CloudWatch Logs data to other destinations might result in high usage charges. I want to understand what all will I be billed for while shipping the logs to ELK? How do they define large amounts ? Will I be billed for a) Cloudwatch? b)

在一个bat文件中执行多个bat文件

阅读更多关于在一个bat文件中执行多个bat文件

在一个bat文件中执行多个bat文件的时候使用start来启动一个应用，脚本如下 start /D "D:\tools\elk\zookeeper-single\" zkServer-startup.bat start /D "D:\tools\elk\elasticsearch-single\" elasticsearch-startup.bat start /D "D:\tools\elk\kibana-single\" kibana-startup.bat start /D "D:\tools\elk\logstash-single\" logstash-startup.bat start /D "D:\tools\elk\kafka-single\" kafka-startup.bat 参数D 后面的参数表示被调用命令的所在目录。 Start语法：启动另一个窗口运行指定的程序或命令。 START ["title"] [/D path] [/I] [/MIN] [/MAX] [/SEPARATE | /SHARED] 　　　[/LOW | /NORMAL | /HIGH | /REALTIME | /ABOVENORMAL | /BELOWNORMAL] 　　　[/WAIT] [/B] [command/program] 　　　[parameters] "title"　

基于docker部署使用ELK+FileBeat日志管理平台

阅读更多关于基于docker部署使用ELK+FileBeat日志管理平台

　　Docker从狭义上来讲就是一个进程，从广义上来讲是一个虚拟容器，专业叫法为 Application Container（应用容器）。Docker进程和普通的进程没有任何区别，它就是一个普通的应用进程，不过是用来操作镜像文件的。所以Docker进程+构建的应用镜像文件就等于Docker容器。作为时下最热门的技术，docker轻量、便捷，极大的简化了后端开发/后期运维工作。同时，ELK+Filebeat的集中式日志解决方案也是大热。开发环境，Ubuntu 16.04 　　1、Docker安装　　1.校验Linux内核版本 uname -ir 　　Linux内核版本高于3.10，64位系统　　2.获取最新doker安装包 wget -qO- https://get.docker.com/ | sh 　　如上图，即安装完成　　3.启动docker后台服务 sudo service docker start #启动守护进程 docker -v # 检查版本　　如此docker即装好，具体的安装详情，教程很多，不赘述　　2、安装elk镜像　　1.拉取 sebp/elk镜像 sudo docker pull sebp/elk 　　镜像较大，差不多1.65G 　　2.说几个会用到的docker命令 sudo docker images // 查看本地已有镜像 sudo

Docker部署ELK

阅读更多关于 Docker部署ELK

环境 centos 7.0（至少需要3G内存，该安装包较大） docker 19.0 ELK镜像 sebp/elk（7.6.0版本） Docker安装部署ELK 选择的是sebp/elk镜像，这里基本没有什么需要配置的，docker search elk 找到stars最多的pull下来。 docker pull sebp/elk 先把对应的文件都拷贝到宿主机当中 1.创建文件夹 mkdir /root/data/es/{conf,data} mkdir /root/data/logstash/config 2.在运行容器并且把容器里的配置cp到宿主机当中 docker run --tid --name elk sebp/elk docker cp -a elk:/opt/kibana/config/kibana.yml docker cp -a elk:/opt/logstash/config 3.然后删除刚才创建的容器 docker rm -f elk 1 .运行elk pull下来之后,因为需要修改kibana配置，和logstash配置，所以把一些常用的配置挂载到容器目录 1.命令 docker run -tid -p 5601:5601 -p 5044:5044 -p 9200:9200 -p 9300:9300 \ -v /root/data/es/conf

ELK之kibana的web报错[request] Data too large, data for [<agg [2]>] would be larger than limit of

阅读更多关于 ELK之kibana的web报错[request] Data too large, data for [] would be larger than limit of

http://blog.51cto.com/11819159/1926411 ELK架构：elasticsearch+kibana+filebeat 版本信息： elasticsearch 5.2.1 kibana 5.2.1 filebeat 6.0.0 (预览版) 今天在进行ELK测试的时候，在kibana上面discover无论那个index，发现均会报错： [request] Data too large, data for [<agg [2]>] would be larger than limit of 并且在elasticsearch的日志可以看到： org.elasticsearch.common.breaker.CircuitBreakingException: [request] Data too large, data for [<agg [2]>] would be larger than limit of [1283260416/1.1gb] 根据错误信息在Google的帮助下，可以比较明显的获取得到是由于内存不够的原因导致，但是具体是因为什么原因暂时还不是很清楚。并且网上大部分出现类似的错误都是清楚缓存： curl -XPUT ' http://localhost:9200/_cache/clear' 在server上面我执行的上诉语句之后

使用Docker构建ELK Docker集群日志收集系统

阅读更多关于使用Docker构建ELK Docker集群日志收集系统

当我们搭建好Docker集群后就要解决如何收集日志的问题 ELK就提供了一套完整的解决方案本文主要介绍使用Docker搭建ELK 收集Docker集群的日志 ELK简介 ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成 Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用 Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。使用Docker搭建ELK平台首先我们编辑一下 logstash的配置文件 logstash.conf input { udp { port => 5000 type => json } } filter { json { source => "message" } } output { elasticsearch { hosts => "elasticsearch:9200" #将logstash的输出到 elasticsearch 这里改成你们自己的host } }

ELK(ElasticSearch, Logstash, Kibana)搭建日志分析平台

阅读更多关于 ELK(ElasticSearch, Logstash, Kibana)搭建日志分析平台

环境：一台 centos 6.7 IP地址：192.168.88.250 软件版本： ElasticSearch 2.1.0 Logstash 2.1.1 Kibana 4.3.1 JDK 1.8.0.77 JDK 我这里没有地址就不连接了下载好JDK 放在路径/usr/local/java编辑配置文件 /etc/profile export JAVA_HOME=/usr/local/java/jdk1.8.0_77 export PATH=$JAVA_HOME/bin:$PATH 加入这两句以后然后 source /etc/profile 确认生效 java -version [root @master ~]# java -version java version "1.8.0_77" Java(TM) SE Runtime Environment (build 1.8.0_77-b03) Java HotSpot(TM) 64-Bit Server VM (build 25.77-b03, mixed mode) 1、搭建 ElasticSearch wget https://download.elasticsearch.org/elasticsearch/release/org/elasticsearch/distribution/tar

Spring Cloud Sleuth + ELK示例

阅读更多关于 Spring Cloud Sleuth + ELK示例

目录 Eureka服务端 Spring Cloud服务端 Spring Cloud客户端 Elasticsearch Logstash Kibana Spring版本：5.1.8.RELEASE Spring Boot版本：2.1.6.RELEASE Spring Cloud版本：Greenwich.SR1 ELK版本：7.6.0 Eureka服务端请参考 Spring Cloud服务发现之Eureka 中的Eureka Server Spring Cloud服务端请参考 Spring Cloud服务发现之Eureka 中的Test Server Spring Cloud客户端 pom文件如下，添加了logback相关依赖以便使用其记录日志 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0<

订阅 elk