elk

章节 ELK 介绍 ELK 安装Elasticsearch ELK 安装Kibana ELK 安装Beat ELK 安装Logstash ELK栈要安装以下开源组件： Elasticsearch Kibana Beats Logstash (可选) Logstash是可选的。 安装Elasticsearch Elasticsearch 是一个近实时的全文搜索引擎，它有多种用途，例如作为日志系统。 要下载安装Elasticsearch，打开命令行终端，执行以下命令(deb用于Debian/Ubuntu, rpm用于Redhat/Centos/Fedora, mac用于OS X, linux用于linux, win用于Windows): deb: curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.0-amd64.deb sudo dpkg -i elasticsearch-7.1.0-amd64.deb sudo /etc/init.d/elasticsearch start rpm: curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.0-x86_64.rpm

一、安装前准备 （1）安装JDK环境 首先到Oracle官网下载jdk。下载地址：https://www.oracle.com/technetwork/java/javase/downloads/index.html。 Elasticsearch 7.2支持JDK版本：1.8、11、12。这里使用了JDK12。具体支持情况：https://www.elastic.co/cn/support/matrix#matrix_jvm。 下载JDK压缩包，通过SFTP客户端（WinSCP）上传到CentOS7相应的目录下。 然后解压JDK，解压命令为: #tar -zxvf jdk-12.0.2_linux-x64_bin.tar.gz。 为了使后续使用方便将将压后的目录重命名为jdk，重命名的命令为 #mv jdk-12.0.2/ jdk （2）配置环境变量 输入命令： #vi /etc/profile 在文件尾部加入如下内容： export JAVA_HOME=/opt/jdk export JRE_HOME=/$JAVA_HOME/jre export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin:

本文档搭建filebeat、kafka、elk、的日志采集、流传输、解析、存储、可视化系统。 一.说明 1.k8s的pod(容器)挂载volumes,将容器内数据持久化到宿主机的磁盘目录。 2.filebeat监控宿主机上的目录，采集生产日志数据。 3.kafka消息队列传输日志数据，创建topic,用来存放数据。 4.logstash消费kafka的日志数据，存储到elasticsearch,同时建立索引。 5.elasticsearch存储日志数据。 6.kibana发现索引，搜索日志数据集，可视化。 二.环境搭建&配置 搭建： 1.filebeat、kafka采用官网下载的tar.gz包。 2.elk采用docker compose下载镜像。 配置： 1.filebeat 输入：磁盘日志路径 输出：kafka的生产端（传输的数据集根据topic可以找到） 如果使用独立的kinana,指定kinana的host,如下配置： 2.kafka解压: kafka监听的ip和port： zookeeper监听的port： 创建topic (名为elk)：bin/kafka-topics.sh --create --zookeeper 10.0.6.25:2181 --replication-factor 1 --partitions 1 --topic elk 查找topic：bin

【elasticsearch6.6安装】 系统准备: 操作系统:centos 7 x64 JAVA软件版本:java8(官方文档) Elasticsearch版本:6.6.2 安装JDK并设置环境变量: rpm -ivh jdk-8u192-linux-x64.rpm vi /etc/profile export JAVA_HOME=/usr/java/latest vi .bash_profile export PATH=$JAVA_HOME/bin:$PATH 查看java版本: java -version 安装elasticsearch: tar zxvf elasticsearch-6.6.2.tar.gz 修改配置文件: config\elasticsearch.yml cluster.name 集群名称 node.name 节点名称 path.data path.logs network.host 0：0：0：0 所有外网IP可访问 http.port http请求端口号，默认为9200 修改配置文件 config\jvm.options -Xms1g -Xmx1g 启动elasticsearch bin\elasticsearch Caused by: java.lang.RuntimeException: can not run elasticsearch as

elk-gen-data.sh ： #!/usr/bin/bash #---------------------------------------------------- # Comment: to generate huge test data of elk log... # Author: aodi # Date: 2018/09/14 # Version: 1.0 #---------------------------------------------------- # 设置第一个参数:请求url文件 URL=$1 # 设置第二个参数:请求头Authorization值 TOKEN=$(curl -X POST -d 'userAccount=alin110' -d 'userPassword=e46cdf9e5adc531287d20b931b8293e3'\ http://newh5.430v.com/member/memberManager/login | grep token|awk -F"token\"\:\"" '{print $2}'|awk -F"\"" '{print $1}') # 设置计数 COUNT=0 # 开始时间 START_TIME=$(date) #echo $TOKEN #exit 0 while true do echo echo

关于ELK的安装大家可以参考 ubuntu18 docker中部署ELK 和 caas / docker-elk ， 首先需要在ELK中创建一个index patterns ​ 首先我们创建一个aspnetcore webapi项目 1.添加如下引用： Serilog Serilog.Sinks.ElasticSearch Serilog.Extensions.Logging 2.修改appsettings.json文件： { "Logging": { "LogLevel": { "Default": "Information", "System": "Information", "Microsoft": "Information" } }, "AllowedHosts": "*", "ElasticConfiguration": { "Uri": "http://192.168.100.5:5000/" } } 3.修改Startup.cs文件 public Startup(IConfiguration configuration) { Configuration = configuration; var elasticUri = Configuration["ElasticConfiguration:Uri"]; Log.Logger = new

参考： https://blog.csdn.net/e_wsq/article/details/81303713 https://blog.csdn.net/zdxxinlang/article/details/84616438 -------------------------------------------------　　 两台机子： 192.168.42.128 elasticsearch（E） elasticsearch-head（这个是插件）LogStash（L） kibana（K） 192.168.42.130 LogStash（L） 安装 elasticsearch 以下是命令： 修改源 # rpm -- import https: //artifacts.elastic.co/GPG-KEY-elasticsearch 编辑repo文件 # vim /etc/yum.repos.d/elasticsearch.repo 加上如下内容： [elasticsearch-5.x] name=Elasticsearch repository for 5.x packages baseurl=https://artifacts.elastic.co/packages/5.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic

elasticSearch Docker安装elasticsearch： docker pull docker.io/elasticsearch:7.2.0 启动： docker run -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" --name es -d docker.io/elasticsearch:7.2.0 logstash Docker安装logstash docker pull docker.io/logstash:7.2.0 配置： 运行容器： docker run --name logstash -d -p 5044:5044 -p 9600:9600 logstash:7.2.0 创建配置文件目录，设置权限： mkdir -p /home/elk/logstash/config && \ chown -R 1000 /home/elk/logstash 拷贝配置文件： docker cp logstash:/usr/share/logstash/config /home/elk/logstash/config 删除容器： docker rm -f logstash 重新运行容器： docker run --name logstash -d \ -p 5044:5044 \ -p 9600

ELK（Elasticsearch + Logstash + Kibana）。 Elasticsearch：分布式实时搜索和分析引擎，存储、分析、搜索数据。 Logstash：收集、分析和过滤日志，形成结构化数据，并推送给 Elasticsearch。 Kibana：基于Web的图形界面，展示数据。 经典的 ELK 架构是 C/S 模式，由部署在客户端的 Logstash 收集日志，形成结构化数据，推送给服务端的 Elasticsearch，然后用 Kibana 展示出来。 但是 Logstash 运行时比较占用内存等资源，生产环境上的日志收集工具采用轻量级的 Filebeat。对于日志数据流特别大的情况，LogStash 会造成拥堵和数据丢失，可以使用消息队列来进行缓冲，如 kafka，redis。服务端的 Logstash 从 redis 队列获取数据。 大致流程：Logs -> Filebeat -> redis -> LogStash -> Elasticsearch -> Kibana -> Nginx ELK 没有任何安全机制，可以使用 Nginx 作反向代理，避免用户直接访问 Kibana 服务器。另外，Nginx 本身具有负载均衡的作用，能够提高系统访问性能。 来源： https://www.cnblogs.com/yutb/p/11326893.html