kibana

这篇文章主要记录一下CentOS 7.1下安装配置Elasticsearch和Storm。 安装Oracle JDK，这个可以参照我之前写的 文章 。 安装Elasticsearch 到 https://www.elastic.co/downloads/elasticsearch 下载Elasticsearch，最新版本是2.3.1。解压之后放到/opt目录下面。命令为： tar zxvf elasticsearch-2.3.1.tar.gz mv elasticsearch-2.3.1 /opt/ 现在，可在elasticsearch的bin目录下运行elasticsearch。我的目录为/opt/elasticsearch-2.3.1/bin；不要使用root用户启动elasticsearch。 ./elasticsearch 对于elasticsearch的配置，可以在/opt/elasticsearch-2.3.1/config下修改elasticsearch.yml文件。 接下来安装elasticsearch-head，这个是elasticsearch集群的管理工具。在elasticsearch的目录下运行如下命令即可： ./plugin install mobz/elasticsearch-head 安装Marvel 因为众所周知的原因

安装完kibana修改完配置文件后，使用命令systemctl start kibana 启动报错。 1、先看下前台启动是否报错。 $ cd /opt/kibana/bin $ ./kibana 启动后如果web可以访问说明配置没有问题。 2、如果配置文件啥的没有问题可以使用命令进行后台启 $ nohup …/bin/kibana & 3、如果不想用2的启动方式。就是要用systemctl start kibana启动。 第一步：$ systemctl start kibana //启动kibana 第二部：$ journalctl –xe //查看报错信息，这个是通用的 第三部：根据报错信息修改对应的地方。 第四部：$ systemctl start kibana $ journalctl –xe 这个命令的使用 参考：https://blog.51cto.com/13598893/2072212 来源： CSDN 作者： whp114870 链接： https://blog.csdn.net/whp114870/article/details/104071612

1.前置工作 1.虚拟机环境简介 Linux版本:Linux localhost.localdomain 3.10.0-862.el7.x86_64 #1 SMP Fri Apr 20 16:44:24 UTC 2018 x86_64 x86_64 x86_64 GNU/Linux ip地址:192.168.1.4(虚拟机Nat配置可参考我的CSDN博客 https://blog.csdn.net/yanshaoshuai/article/details/97689891 ) Java环境:java 12.0.2(java环境安装可以参考我的CSDN博客 https://blog.csdn.net/yanshaoshuai/article/details/87868286 ) 2.用户及权限配置 由于ELK产品不能以root用户运行，所以要先创建一个普通用户，并且最低要给予该用户你运行程序目录的执行权限，以及配置文件的修改权限和运行程序中产生文件的读写权限等。 #创建用户和组[root@localhost gz]# groupadd es_group [root@localhost gz]# useradd es_user [root@localhost gz]# passwd es_user Changing password for user es_user. New

** efk的搭建** Elasticsearch 是一个实时的、分布式的可扩展的搜索引擎，允许进行全文、结构化搜索，它通常用于索引和搜索大量日志数据，也可用于搜索许多不同类型的文档。 Elasticsearch 通常与 Kibana 一起部署，Kibana 是 Elasticsearch 的一个功能强大的数据可视化 Dashboard，Kibana 允许你通过 web 界面来浏览 Elasticsearch 日志数据。 Fluentd是一个流行的开源数据收集器，我们将在 Kubernetes 集群节点上安装 Fluentd，通过获取容器日志文件、过滤和转换日志数据，然后将数据传递到 Elasticsearch 集群，在该集群中对其进行索引和存储。 我们先来配置启动一个可扩展的 Elasticsearch 集群，然后在 Kubernetes 集群中创建一个 Kibana 应用，最后通过 DaemonSet 来运行 Fluentd，以便它在每个 Kubernetes 工作节点上都可以运行一个 Pod。 1.创建 Elasticsearch 集群 在创建 Elasticsearch 集群之前，我们先创建一个命名空间。 新建一个kube-efk.yaml kubectl apply -f kube-efk.yaml kubectl get ns 查看有没有这个efk的命名空间

基于kibana的Dev Tools控制板的es常用查询语句 1.集群相关： --- 查询集群健康状态 GET _cluster/health --- 查询所有节点 GET _cat/nodes --- 查询索引及分片的分布 GET _cat/shards --- 查询所有插件 GET _cat/plugins 2.索引相关查询： --- 查询所有索引及容量 GET _cat/indices --- 查询索引映射结构 GET my_index/_mapping --- 查询所有索引映射结构 GET _all --- 查询所有的相同前缀索引 GET my-*/_search --- 查询所有索引模板 GET _template --- 查询具体索引模板 GET _template/my_template --- 删除索引 DELETE my-index 索引的操作 写入索引模板 PUT _template/my_template { "template" : "my-*", "order" : 0, "settings" : { "number_of_shards" : 10, "number_of_replicas" : 0 }, "mappings": { "default": { "_all": { "enabled": false }， "properties": {

1.实验环境：   使用8台CentOS主机，实现filebeat+redis+logstash+els集群(3台)+kibana来完成搜索日志相关内容，目标：filebeat来完成收集本机http数据，收集完成后发送给redis，redis主要是来避免数据量过大，logstash处理不过来，logstash是用来格式化数据，将收集来的数据格式化成指定格式，els集群是将格式化完成的数据，进行文档分析，，构建索引，提供查询等操作，kibana提供图形化界面查询的组件 逻辑拓扑图 2.实验步骤 本实验所用的四个软件包全部都是5.6版本 下载相关网站： https://www.elastic.co/cn/products 配置前注意事项：1.关闭防火墙。2.关闭SELinux。3.同步时间 步骤1.实现收集httpd服务的日志文件，并将数据发送给redis服务 http+filebeat服务器相关配置 [root@filebeat ~]# yum install -y httpd [root@filebeat ~]# echo test > /var/www/html/index.html [root@filebeat ~]# systemctl start httpd [root@filebeat ~]# rpm -ivh filebeat-5.6.10-x86_64.rpm