kibana

下一篇：Elasticsearch - Kibana安装和简单使用 Head 插件 Head 相当于Elasticsearch的一个客户端 Github下载地址 安装 grunt(cmd 进入安装node.js的路径) npm install -g grunt -cli 安装pathomjs npm install 在你解压head的目录下运行(不要放置在elasticsearch目录下) 根目录下Gruntfile.js可以修改启动端口 grunt server 修改 elasticsearch 配置文件(路径：ES安装目录/config/elasticsearch.yml) http.cors.enabled: true http.cors.allow-origin: "*" 用 head 测试访问 elasticsearch 来源： oschina 链接： https://my.oschina.net/tingqianyunluo/blog/3217709

1.环境部署 安装软件 主机名 IP地址 内存需求 Elasticsearch mes 192.168.13.142 至少3G Logstash log 192.168.13.143 至少2G head，Kibana head-kib 192.168.13.139 至少2G 地址与版本 Elasticsearch: 6.5.4 #https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.4.tar.gz Logstash: 6.5.4 #https://artifacts.elastic.co/downloads/logstash/logstash-6.5.4.tar.gz Kibana: 6.5.4 #https://artifacts.elastic.co/downloads/kibana/kibana-6.5.4-linux-x86_64.tar.gz Kafka: 2.11-2.1 #https://archive.apache.org/dist/kafka/2.1.0/kafka_2.11-2.1.0.tgz Filebeat: 6.5.4 相应的版本最好下载对应的插件 相关地址： 官网地址 2.Elasticsearch部署 系统类型：Centos7.5 节点IP：172.16.13

目的 ：简化查询日志方式 参考 ： 1.安装jdk1.8 + https://my.oschina.net/springMVCAndspring/blog/1601197 1. elk整合springboot https://www.bbsmax.com/A/Gkz11xgnzR/ 2. Linux安装Elasticsearch https://www.dalaoyang.cn/article/78 3. Linux安装Logstash https://www.dalaoyang.cn/article/80 4.安装kibana https://www.dalaoyang.cn/article/79 5.日志工具类 https://my.oschina.net/springMVCAndspring/blog/3041550#h1_20 0.准备 下载软件上传到 centos7上 1.安装软件 1.1 安装jdk1.8+ https://my.oschina.net/springMVCAndspring/blog/1601197 1.2 Linux安装Elasticsearch https://www.dalaoyang.cn/article/78 1.2.1 解压 tar -zxvf elasticsearch-5.3.2.tar.gz -C ../elasticsearch 1

先上一张图 FATAL Error: listen EADDRNOTAVAIL 123.57.251.57:5601 配置文件我是这样配置的： [root@head-kib ~]# cd /usr/local/kibana-6.5.4-linux-x86_64/config/ [root@head-kib config]# vim kibana.yml server.port: 5601 server.host: "123.57.251.57" elasticsearch.url: "http://192.168.246.234:9200" #ES节点 kibana.index: ".kibana" 因为用的是云虚拟机，所以这里的123.57.251.57是外网ip，我们应该用内网ip才行。 但是如果写localhost的话，虽然不会报错，5601端口也是正常启动，但是你访问5601端口会被拒绝。 [root@head-kib kibana-6.5.4-linux-x86_64]# netstat -nlp | grep 5601 #5601端口正常 tcp 0 0 127.0.0.1:5601 0.0.0.0:* LISTEN 11188/./bin/../node [root@head-kib kibana-6.5.4-linux-x86_64]# curl -i http:/

1.服务器 使用阿里云服务器(方便)，抢占式实例(便宜)，4核16G，系统选择centos7.4/64位(好用)。购买地址：https://ecs-buy.aliyun.com/ 我们只是测试学习使用，把端口权限全开就行(不然外网访问不了)，安全组配置那里添加如下： 2.下载ELK的包： 下载地址：https://www.elastic.co/downloads 下载最新版的、linux服务器能使用的。 右键复制链接地址，wget就可以下载，如：wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.4.3.tar.gz 下载完，解压，如： tar -zxvf elasticsearch-6.4.3.tar.gz 有的需要使用unzip解压，需要使用： yum install unzip 下载安装unzip工具 弄完了如下图： 3.elasticsearch配置启动 先安装jdk1.8，在centos7.4里面，直接yum install tomcat就行，会自动安装好tomcat和jdk1.8，完了java -version看下版本： 解压后进入config目录：cd elasticsearch-6.4.2/config，vim elasticsearch.yml 修改配置文件

k8s集群日志收集 收集哪些日志 K8S系统的组件日志 K8S Cluster里面部署的应用程序日志 日志方案 Filebeat+ELK        Filebeat(日志采集工具)+Logstach(数据处理引擎)+Elasticserch(数据存储、全文检索、分布式搜索引擎)+Kibana（展示数据、绘图、搜索）        3 容器中的日志怎么收集        收集方案：Pod中附加专用日志收集的容器 优点：低耦合 缺点：每个Pod启动一个日志收集代理，增加资源消耗和运维维护成本              4 部署DaemonSet采取k8s组件日志/var/log/messages        4.1 ELK安装在harbor节点        安装、配置ELK        1)安装openjdk yum -y install java-1.8.0-openjdk              2）安装Logstash https://www.elastic.co/guide/en/logstash/7.6/installing-logstash.html              配置网络源 /etc/yum.repos.d/logstash.repo [logstash-7.x] name=Elastic repository for 7.x packages

K8S : Helm 部署 ELK 7.6 场景 ​ 在 K8S 上部署有状态应用 ELK，收集日常测试数据的上报（应用拨测的 Heartbeat、调用链追踪的 APM、性能指标 metabeat 等）。本文通过rook提供底层存储，用于安装elk的statefulset，然后部署MetalLB实现本地负载均衡，最后通过ingress-control实现访问kibana。 操作步骤 1.安装rook 2.安装helm 3.安装ES 4.安装kibana 5.安装filebeat 6.安装metalLB 7.安装Ingress-control 8.访问测试 1.安装rook 1.1 安装说明 ​ Rook是专用于Cloud-Native环境的文件、块、对象存储服务。它实现了一个自我管理的、自我扩容的、自我修复的分布式存储服务。Rook支持自动部署、启动、配置、分配（provisioning）、扩容/缩容、升级、迁移、灾难恢复、监控，以及资源管理。为了实现所有这些功能，Rook依赖底层的容器编排平台。 ​ Ceph是一个分布式存储系统，支持文件、块、对象存储，在生产环境中被广泛应用。 ​ 此次安装就是通过rook进行ceph进行部署，简化了ceph的安装管理配置。同时也是为了能够利用本地资源。提供storageclass。 1.2 rook和ceph架构 1.2 安装ceph

kibana启动报错 Elasticsearch cluster did not respond with license information 本次报错环境是使用4台elasticsearch服务器组成的ES集群，版本都是elk7.1.0，具体安装步骤网上文档较多。 使用cdh1作为master，cdh2，cdh3，cdh4作为datanode节点。 在elasticsearch安装完成后，通过http://cdh1:9200 也能访问，随后即安装了kibana。 当安装完kibana后，通过http://cdh1:5601，无法访问kibana界面。 Kibana server is not ready yet 问题排查： 首先通过ps和netstat命令查看elasticsearch和kibana是否都启动，查看后发现进程和端口都是正常运行。 然后先查看kibana的日志，vim /var/log/kibana.log ，发现有以下错误： 大概意思是，kibana启动成功，状态从green转成red，是因为 Elasticsearch cluster did not respond with license information {"type":"log","@timestamp":"2020-04-01T03:14:13Z","tags":["status",

kubernetes 的EFK 部署 标签（空格分隔）： kubernetes系列 一： kubernetes 的EFK 部署 一： kubernetes 的EFK 部署 1.1 关于pod的日志信息 cd /var/log/containers/ ls ls -lrt * 1.2 kubernetes 的EFK 部署 添加 Google incubator 仓库 helm repo add incubator http://storage.googleapis.com/kubernetes-charts-incubator 部署 Elasticsearch 上传ES的镜像到所有节点 elasticsearch-oss.tar fluentd-elasticsearch.tar kibana.tar 三个镜像包 docker load -i elasticsearch-oss.tar docker load -i fluentd-elasticsearch.tar docker load -i kibana.tar ---- kubectl create namespace efk helm fetch incubator/elasticsearch 下载elasticsearch-1.10.2.tgz tar -zxvf elasticsearch-1.10.2.tgz cd

目录： 系统环境准备 安装ES集群 安装Kibana 安装x-pack 安装head 系统环境准备 参见： HDP2.4安装(二)：Centos7配置 修改network： 修改hosts: 配置ssh ： 配置ntp服务 配置selinux 安装java jdk 文件数与虚拟内存配置 命令： vim /etc/sysctl.conf 打开编辑器中增加如下配置 fs.file-max=655350 vm.max_map_count=655360 执行命令： sysctl -p 命令： vim /etc/security/limits.conf 添加下面配置： * soft nofile 655350 * hard nofile 655350 命令： reboot （重启机器） 测试集群节点： 10.0.0.5 JNES01 (A2系列) 10.0.0.6 JNES02 (A2系列） 安装ES集群 ES5.1下载地址： https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.1.1.tar.gz 解压： tar -zxvf elasticsearch-5.1.1.tar.gz 新建存储目录： mkdir -p /mnt/data/esdata 目录权限： chmod -R 777 /mnt/data