logstash

前言 现在微服务实在是太火了，所以我们必不可少的是要学习一下SpringCloud了，服务化的核心就是将传统的一站式应用 根据业务拆分成一个一个的服务，而微服务在这个基础上要更彻底地去耦合（不再共享DB、KV，去掉重量级ESB），并 且强调DevOps和快速演化。 springcloud中常用的组件： 服务发现——Netflix Eureka 客户端负载均衡——Netflix Ribbon 断路器——Netflix Hystrix 服务网关——Netflix Zuul 分布式配置——Spring Cloud Config 一、SpringCloud的架构设计 1.1 SpringCloud架构图细解 上面的SpirngCloud的架构图，分层概述一下。 web服务器的选型，这个我选择的是nginx+keepalived，haproxy也是一个选择，但是haproxy在反向代理处理跨域 访问的时候问题很多。所以我们nginx有些地方做了keep-alive模式处理，减少了三次握手的次数，提高了连接效率。 keepalived做nginx的负载，虚拟一个vip对外，两个nginx做高可用，nginx本身反向代理zuul集群。 api gateway，这里的zuul很多人诟病，说是速度慢推荐直接用nginx，这里我还是推荐使用zuul的，毕竟zuul含有 拦截器和反向代理，在权限管理

大数据常见英文词汇（待更新） words(单词) resilient 有弹性的 parallelize 并行化 procedure 过程 process 进程、处理 program 程序 schedule 日程安排 scheduler 调度程序 schema 架构 segment 段 operation 算子 convergence 汇聚 visualize 可视化 plugin 插件 transactional 事务性 integrity 完整 slot 窄缝，扁口;位置，时间，机会 a bunch of 一群 ELK elasticsearch 弹性搜索 logstash 日志存放 kibana vertical bar 竖条 dash board 仪表盘 Covariance 协方差 constraints 约束条件 repository 存储库 Parquet 镶木地板 specify 指定 immutable 不变的 block 块 greater than gt 大于 less than lt 小于 Phrases（词组） Streaming data processing （基于实时）数据流的数据处理 interactive query （基于历史数据的）交互式查询 batch data processing （复杂的）批量数据处理 URI (Uniform

ELK（7版本）部署与架构分析 1 、 ELK 的背景介绍与应用场景 在项目应用运行的过程中，往往会产生大量的日志，我们往往需要根据日志来定位分析我们的服务器项目运行情况与 BUG产生位置。一般情况下直接在日志文件中tailf、 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中，此方法效率低下，面临问题包括日志量过大、文本搜索太慢、如何多维度查询。这就需要对服务器上的日志收集汇总。常见解决思路是建立集中式日志收集系统，将所有节点上的日志统一收集，管理，访问。 一般大型系统往往是一种分布式部署的架构，不同的服务模块部署在不同的服务器上，问题出现时，大部分情况需要根据问题暴露的关键信息，定位到具体的服务器和服务模块，所以构建一套集中式日志系统， 可以提高定位问题的效率 。 一个完整的集中式日志系统，需要包含以下几个主要特点： 收集－能够采集多种来源的日志数据，服务日志与系统日志。 传输－能够稳定的把日志数据传输到中央系统 存储－如何存储日志数据，持久化数据。 分析－可以支持 UI 分析，界面化定制查看日志操作。 ELK提供了一整套解决方案，并且都是开源软件，之间互相配合使用，完美衔接，高效的满足了很多场合的应用。是目前主流的一种日志系统。 2 、 ELK 简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana ,

[WARN ][org.apache.kafka.common.utils.AppInfoParser] Error registering AppInfo mbean javax.management.InstanceAlreadyExistsException: kafka.consumer:type=app-info,id=test-0 logstash input 添加多个kafka会出现这个报错。是因为clientid唯一。 换了N个版本kafka和logstash 网上也找不到解决方法 记录一下解决方法 希望后面的同学们少走点弯路 解决方法 ： 需要在logstash添加不同的client_id 配置文件如下 input { kafka { bootstrap_servers => "192.168.1.11:9092,192.168.1.12:9092,192.168.1.13:9092" client_id => "test1" topics => ["test1"] type => "test1" codec => 'json' } kafka { bootstrap_servers => "192.168.1.11:9092,192.168.1.12:9092,192.168.1.13:9092" client_id => "test2" topics => [

背景： 项目需要对一批接口进行压测，要求是接口的QPS(Quest Per Second每秒请求数)达到6万以上 由于楼主一直使用的压力测试工具是jmeter，但是jmeter单台电脑无法达到6万的QPS，于是使用网传比较好用的其他性能工具进行压测比较，选出一款符合要求的工具进行压测。 压测机器：Linux 4核8G 由于不同的性能工具压测时消耗的系统资源不一样，防止系统资源造成的干扰，测试时服务器只运行压测工具，且非本机压本机。 示例接口，post请求，请求body可为空 POST https://api.midukanshu.com/logstash/userbehavior/report 返回： {"code":0,"message":"成功","currentTime":1543386393,"data":[]} 一、 Wrk wrk是一款现代化的HTTP性能测试工具，即使运行在单核CPU上也能产生显著的压力。最大的优点是它支持多线程，这样更容易发挥多核 CPU 的能力，从而更容易测试出系统的极限能力。 安装 git clone https://github.com/wg/wrk.git cd wrk/ make 查看版本 ./wrk -v 参数说明 - c ：总的连接数（每个线程处理的连接数 = 总连接数 / 线程数） - d ：测试的持续时间，如 2 s ( 2

【推荐阅读】微服务还能火多久？>>> 转载自： https://mp.weixin.qq.com/s?__biz=MzAwNTM5Njk3Mw==&mid=2247487789&idx=1&sn=def0d8c2e6b8c596b4836a1180c7b221&chksm=9b1c11afac6b98b9ca74aa005e21ef25c8e999713e94c4e58de49a0c54d44e5e1619aa830c8d&mpshare=1&scene=1&srcid=1231F6Z3HevOthNAGOB0LTBJ&sharer_sharetime=1577767082607&sharer_shareid=6ec87ec9a11a0c18d61cde7663a9ef87#rd 1、性能分析 2、关于收集日志的选择：logstash/filter 3、Logstash的优化相关配置 4、引入Redis的相关问题 5、Elasticsearch节点优化配置 6、性能检查 1、性能分析 服务器硬件Linux：****1cpu4GRAM 假设每条日志250Byte。 分析： ①logstash-Linux：1cpu 4GRAM 每秒500条日志； 去掉ruby每秒660条日志； 去掉grok后每秒1000条数据。 ②filebeat-Linux：1cpu 4GRAM 每秒2500

【推荐阅读】微服务还能火多久？>>> EFK 不是一个软件，而是一套解决方案。EFK 是三个开源软件的缩写，Elasticsearch，FileBeat，Kibana。其中 ELasticsearch 负责日志分析和存储，FileBeat 负责日志收集，Kibana 负责界面展示。它们之间互相配合使用，完美衔接，高效的满足了很多场合的应用，是目前主流的一种日志分析系统解决方案。 EFK 和 ELK 只有一个区别， 收集日志的组件由 Logstash 替换成了 FileBeat，因为 Filebeat 相对于 Logstash 来说有2个好处： 1、侵入低，无需修改 elasticsearch 和 kibana 的配置； 2、性能高，IO 占用率比 logstash 小太多； ELK可参考： https://blog.51cto.com/14227204/2442249 当然 Logstash 相比于 FileBeat 也有一定的优势，比如 Logstash 对于日志的格式化处理能力，FileBeat 只是将日志从日志文件中读取出来，当然如果收集的日志本身是有一定格式的，FileBeat 也可以格式化，但是相对于Logstash 来说，效果差很多。 Filebeat 隶属于 Beats。目前 Beats 包含六种工具： * Packetbeat（搜集网络流量数据） *

【今日推荐】：为什么一到面试就懵逼！>>> Tunnel Tunnel通常用来将本地的数据上传到maxcompute或将maxcompute数据下载到本地 1、MaxCompute数据的上传和下载 MaxCompute系统上传/下载数据包括两种方式 DataHub实时数据通道 Tunnel批量数据通道 OGG插件 大数据开发套件 Flume插件 DTS LogStash插件 Sqoop Fluentd插件 Kettle插件 MaxCompute客户端 Tunnel查看帮助信息 不带参数的tunnel或tunnel help查看帮助信息 也可tunnel help upload Available subcommands： upload 支持文件或目录（只一级目录）的上传； 每一次上传只支持数据上传到一个表或表的一个分区； 有分区的表一定要指定上传的分区，示例如下： tunnel upload d:testp1.txt yunxiang_01.t_test_p/gender='male' tunnel upload d:test yunxiang_01.t_test_p/gender='male' --scan=only 注释：yunxiang_01为项目； t_test_p为表；gender='male'为分区类；--scan=only表示只扫码数据不导入数据。 download

当SD-WAN出现问题或者您怀疑它导致应用程序出现问题时，您会怎么做?当然是，排除故障。 但SD-WAN故障排除要求IT团队非常了解他们正在处理的网络设备、连接和拓扑，以及许多其他因素。以下是IT团队在处理SD-WAN问题时可以遵循的一些有用的监控和实际故障排除的步骤。 SD-WAN故障排除的第一步是了解网络是什么时候开始无法正常运行的。在大多数情况下，监控SD-WAN与监控常规网络并没有太大区别。物理组件通常最容易监控的：他们要么工作，要么不工作。由于抽象会使得多个网络链路看起来好像是一个，因此逻辑函数可能会更具挑战性。 监控SD-WAN 1. 事件处理。 一个好的网络管理架构中最有用的元素是检查来自网络设备(包括SD-WAN设备)的事件。把事件想象成是网络让你知道值得注意的事情发生了。该过程不需要轮询，并且它可以随着网络的增长而扩展。 与简单网络管理协议(SNMP)陷阱相比，我更喜欢使用syslog事件，因为它们不需要将特定的管理信息库加载到管理系统中来查看详细信息。IT团队应该配置SD-WAN设备，以便将事件发送到公共事件处理系统，在那里可以存储、关联和操作事件。 预算受限的组织可以使用开源收集器(如syslog-ng)以及各种分析工具来总结网络可以生成的大量事件。有预算的组织可以研究ELK堆栈 - Elasticsearch，Logstash和Kibana

Elasticsearch 一. 入门 在企业级项目中，如果需要完成数量级较大搜索服务，传统数据库搜索会显得力不从心，性能和速度达不到真实业务需求，一般我们都会使用全文检索技术来进行替代。 常见的全文检索技术有：Solr、Elasticsearch等。 今天就让我们来学习其中之一： Elasticsearch 二. . Elastic 概述 Elastic官网： https://www.elastic.co/cn/ Elastic有一条完整的产品线：Elasticsearch、Kibana、Logstash等，前面说的三个就是大家常说的ELK技术栈。 Logstash 是动态数据收集管道，拥有可扩展的插件生态系统。也就是数据的收集，处理和储存。 Elasticsearch 是一个基于 JSON 的分布式搜索和分析引擎。也就是数据的检索和分析。 Kibana 可视化 Elastic Stack 的窗户（工具）。探索数据并管理堆栈。也就是数据的可视化 ELK技术栈： E lasticsearch ：分布式搜索和分析引擎。 L ogstash ：数据的收集，处理和储存。 K ibana ：数据的可视化，可视化工具，辅助Elasticsearch 。 三. ElasticSearch介绍 1. 什么是ElasticSearch ElasticSearch是一个基于Lucene的搜索服务器