logstash

少点代码，多点头发 本文已经收录至我的GitHub,欢迎大家踊跃star 和 issues。 https://github.com/midou-tech/articles 从今天开始准备给大家带来全新的一系列文章，Elasticsearch系列 新系列肯定会有很多疑惑，先为大家答疑解惑，下面是今天要讲的问题 为什么写Elasticsearch系列文章？ 之前在文章中也陆陆续续的提到过，龙叔是做搜索引擎的。搜索引擎技术属于商业技术，大家耳熟能详的百度搜索，Google搜索，这可都是因为把握核心搜索技术，从而诞生了商业帝国。 每个互联网大厂都想去分一杯搜索的羹，360搜索、神马、头条、搜狗搜索等等，由此可见搜索技术的商业作用和机密性了。 搜索把握用户的入口 蘑菇街的搜索引擎是一款使用C++开发、完全自研、没有开源的搜索引擎，没有开源就是不能随便写出来的。 但是现在不一样了 第一、我离职了，离开了意味着不在持有那些商业机密了，就算不讲出来我也没啥心理负担(但还是不能讲的，离职协议写的很清楚，不能 泄露公司商业机密 )。 第二、去新的公司还是在搜索领域，他们用Es Elasticsearch是一个开源搜索，开源的东西可以随便说，但还是不能说公司的 商业数据 。 自己一直在搜索领域做，输出搜索相关的文章，第一个可以让自己更好的学习和总结，第二个可以让粉丝们了解到搜索这个神秘的技术

K8S监控实战-ELK收集K8S内应用日志 目录 K8S监控实战-ELK收集K8S内应用日志 1 收集K8S日志方案 1.1 传统ELk模型缺点： 1.2 K8s容器日志收集模型 2 制作tomcat底包 2.1 准备tomcat底包 2.1.1 下载tomcat8 2.1.2 简单配置tomcat 2.2 准备docker镜像 2.2.1 创建dockerfile 2.2.2 准备dockerfile所需文件 2.2.3 构建docker 3 部署ElasticSearch 3.1 安装ElasticSearch 3.1.1 下载二进制包 3.1.2 配置elasticsearch.yml 3.2 优化其他设置 3.2.1 设置jvm参数 3.2.2 创建普通用户 3.2.3 调整文件描述符 3.2.4 调整内核参数 3.3 启动ES 3.3.1 启动es服务 3.3.1 调整ES日志模板 4 部署kafka和kafka-manager 4.1 但节点安装kafka 4.1.1 下载包 4.1.2 修改配置 4.1.3 启动kafka 4.2 获取kafka-manager的docker镜像 4.2.1 方法一 通过dockerfile获取 4.2.2 直接下载docker镜像 4.3 部署kafka-manager 4.3.1 准备dp清单 4.3.2 准备svc资源清单 4

应用场景阐述： 本文记录一次解决ElasticSearch开启x-pack安全认证后，logstash无法发送数据至 ES 存储的解决方法。 版本为 logstash-6.8.0、elasticsearch-6.8.0 一、先决条件 首先我们需要 logstash 和 es集群环境，且配置好了 hosts文件映射主机名 例如：vim etc/hosts #es三个节点 pc1 10.20.10.1 pc2 10.20.10.2 pc3 10.20.10.3 logstash-node-1 10.20.10.4 二、开启安全认证 在es主节点的配置文件中（elasticsearch.yml）加入以下一行配置，并重启es，目的是开启安全认证 xpack.security.enabled: true 做完这一步，最基本的安全认证，用户名、密码验证 就配置好了，浏览器访问 http://pc1:9200/ 就会要求输入用户名密码来访问es了 三、设置ES内置用户及密码 1、在Elasticsearch安装目录中运行命令： ./bin/elasticsearch-setup-passwords interactive， 回车之后为每一个用户设置独立的密码。前提是 ES必须为启动状态。 2、你需要在后续步骤中使用这些内置用户，因此务必牢记前面设置的密码！ 四、生成我们所需的证书 ca证书

前言：efk中的f与elk中的l分别可以指代logstash、filebeat、rsyslog、Fluentd等，作为日志系统中的标准收集工具，各有优劣，本文将分析下各自的有点与不足。 Logstash logstash基于JRuby实现，可以跨平台运行在JVM上 优点 主要的优点就是它的灵活性，这还主要因为它有很多插件。然后它清楚的文档已经直白的配置格式让它可以再多种场景下应用。这样的良性循环让我们可以在网上找到很多资源，几乎可以处理任何问题。 劣势 Logstash 致命的问题是它的性能以及资源消耗（默认的堆大小是 1GB）。尽管它的性能在近几年已经有很大提升，与它的替代者们相比还是要慢很多的。因为logstash是jvm跑的，资源消耗比较大，所以后来作者又用golang写了一个功能较少但是资源消耗也小的轻量级的logstash-forwarder。不过作者只是一个人，elastic.co公司以后，因为es公司本身还收购了另一个开源项目packetbeat，而这个项目专门就是用golang的，有整个团队，所以es公司干脆把logstash-forwarder的开发工作也合并到同一个golang团队来搞，于是新的项目就叫filebeat了。logstash 和filebeat都具有日志收集功能，filebeat更轻量，占用资源更少，但logstash 具有filter功能

作者介绍 魏彬，普翔科技 CTO，开源软件爱好者，中国第一位 Elastic 认证工程师，《Elastic日报》和 《ElasticTalk》社区项目发起人，被 elastic 中国公司授予 2019 年度合作伙伴架构师特别贡献奖。对 Elasticsearch、Kibana、Beats、Logstash、Grafana 等开源软件有丰富的实践经验，为零售、金融、保险、证券、科技等众多行业的客户提供过咨询和培训服务，帮助客户在实际业务中找准开源软件的定位，实现从 0 到 1 的落地、从 1 到 N 的拓展，产生实际的业务价值。 如果你关注过 Elasticsearch 的日志，可能会看到如下类似的内容： [2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo- 来源： oschina 链接： https://my.oschina.net/u/4406565/blog/4328587

本文来源于公众号【胖滚猪学编程】，转载请注明出处！ 关于数据中台的概念和架构，我们在 大白话 六问数据中台 和 数据中台全景架构及模块解析！一文入门中台架构师！ 两篇文章中都说明白了。从这一篇文章开始分享中台落地实战。 其实无论是数据中台还是数据平台，数据无疑都是核心中的核心，所以闭着眼睛想都知道数据汇聚是数据中台/平台的入口。纵观众多中台架构图，数据采集与汇聚都是打头阵的： 本文将从以下几个方面分享数据采集的方方面面： 一、企业数据来源 二、数据采集概念和价值 三、数据采集常用工具 四、数据采集系统设计原则 五、数据采集模块生产落地分享 有来源才能谈采集，因此我们先来归纳下企业中数据来源。 数据来源 企业中的数据来源极其多，但大都都离不开这几个方面： 数据库，日志，前端埋点，爬虫系统等。 数据库我们不用多说，例如通常用mysql作为业务库，存储业务一些关键指标，比如用户信息、订单信息。也会用到一些Nosql数据库，一般用于存储一些不那么重要的数据。 日志也是重要数据来源，因为日志记录了程序各种执行情况，其中也包括用户的业务处理轨迹，根据日志我们可以分析出程序的异常情况，也可以统计关键业务指标比如PV,UV。 前端埋点同样是非常重要的来源，用户很多前端请求并不会产生后端请求，比如点击，但这些对分析用户行为具有重要的价值，例如分析用户流失率，是在哪个界面，哪个环节用户流失了

Elasticsearch 7.7.0使用xpack认证 一. 证书配置: (证书需放至各Node的config目录下) $ cd /opt/elasticsearch/ $ ./bin/elasticsearch-certutil ca $ ./bin/elasticsearch-certutil cert -ca elastic-stack-ca.p12 $ mv elastic-stack-ca.p12 config/ $ mv elastic-certificates.p12 config/ 二. 修改各Node配置文件: $ grep -E -v "^#|^$" config/elasticsearch.yml cluster.name: my-es node.name: node-0 path.data: /opt/elasticsearch/data path.logs: /opt/elasticsearch/logs network.host: 192.168.3.120 http.port: 9200 transport.tcp.port: 9300 transport.tcp.compress: true discovery.seed_hosts: ["docker0","docker1","docker2"] cluster.initial_master

参考文档 https://blog.csdn.net/u012731379/article/details/79856113 https://blog.csdn.net/u010466329/article/details/79209236 https://blog.csdn.net/laoyang360/article/details/65449407 迁移方法 通过logstash的input和output配置迁移（配置灵活适用于长期数据同步等） 通过迁移工具如elasticdump等（适用于备份一次性小量数据操作） 通过elasticsarch自带快照功能（适用于一次性迁移大量数据） 操作步骤 1、安装elasticdump [root@VM_8_24_centos ~]# yum install nodejs npm [root@VM_8_24_centos ~]# npm install elasticdump /root └─┬ elasticdump@4.4.0 ├── async@2.6.1 ├─┬ aws-sdk@2.400.0 │ ├─┬ buffer@4.9.1 │ │ ├── base64-js@1.3.0 │ │ └── isarray@1.0.0 │ ├── events@1.1.1 │ ├── ieee754@1.1.8 │ ├── jmespath

【最佳实践示例】Logstash JDBC实现ElasticSearch与关系型数据库PostgreSQL近实时同步 在数据全文检索需求越来越大的今天，很多公司都在关系数据库数据的基础上，加上了Elastic Search，来进行数据快速全文检索，所以ElasticSearch与关系型数据库数据进行数据同步就变的尤为重要。本文主要介绍PostgreSQL数据库通过Logstash-JDBC插件与ElasticSearch进行数据的近实时同步。 系统配置 ElasticSearch: 7.6.2 PostgreSQL: 10+190ubuntu kibana: 7.4.0 Logstash: 7.6.2 posgresql 数据库结构 此数据结构是临时想的，在正常的项目中是不会存在这种结构的，大家见谅。一张学生表，一张老师表，通过课程进行关联。（这种关联关系显示生活中不会这样设计的，但是能说明问题就行一切从简） create table student( id bigint primary key NOT NULL, name varchar(5) not null, sex char(1) default '男' , age int check(age>1), courses varchar(20), create_time TIMESTAMP NOT NULL DEFAULT