logstash

简介： 在正常生产环境中使用k8s部署业务后能正常运行还不够，我们需要很多附加的东西来满足日常的需求。比如日志、监控、告警等。这一篇给大家分享一下我们生产环境中的日志集中解决方案。当然不敢说是最好的，分享出来供大家参考。 在正常环境中有几类日志我们比较关心： 1、k8s中的ingress日志。比如traefik，里面记录的从公网域名访问进来的访问记录，类似nginx的access.log 2、istio中envoy边车日志。如果启用了istio那么这个日志也是需要的，每次程序被调用时都会有一个记录。 3、k8s中的事件日志。里面就有容器健康检查失败重新部署，或者pod新建、删除等事件。kubectl describe pods中的Events:内容 4、业务程序运行时产生的业务日志。比如java中常用的log4j套件输出的日志和kubectl logs命令查看的日志。这个和输出方式有关。 实现方式 这里日志收集的方式是采用elk模式，如果大家感兴趣还有loki的模式。当然这次分享是基于elk的。首先要部署的还是es集群，这里我们使用的是虚拟机部署方式非容器化。理由es是公共的组件可以对接所有的产品业务线，单独拿出来部署可以给别的产品线输出集中化日志存储方案。平时维护量还是比较少的，当然我们的es集群每15分钟大概800万条记录规模并不是特别大， 不过以后出现瓶颈横向扩容也不是问题

环境介绍 为简化安装和升级，Elastic Stack各组件版本是同步发布的。本次安装，采用最新的7.9通用版。官方有多种安装方式：tar、rpm、docker、yum形式，我选择用tar包安装。 Elastic Stack 组件： Beats7.9 （filebeat) Elasticsearch7.9 Kibana7.9 Logstash7.9 操作系统：CentOS8.2.2004 JDK版本：jdk-14.0.2_linux-x64_bin.rpm（Logstash依赖JDK） Redis版本：5.0.3 (yum 安装) 下载地址： https://artifacts.elastic.co/downloads/kibana/kibana-7.9.0-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads/logstash/logstash-7.9.0.tar.gz https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.9.0-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.9.0-linux-x86_64

问题：OpenJDK 64-Bit Server VM warning: If the number of processors is expected to increase from one, then you should configure the number of parallel GC threads appropriately using -XX:ParallelGCThreads=N 报错原因：    某些软件包启动的时候默认启用 -XX:+AssumeMP导致 解决办法：    在jvm.optipons配置文件添加 -XX:-AssumeMP 操作如下（示例）： vim / usr / local / logstash - 6 . 6 . 0 / config / jvm . options - XX: - AssumeMP 解决后的效果图： 如需下载logstash-6.6.0可在此路径下载： https://download.csdn.net/download/weixin_40268588/12740496 口号：看懂的点赞，不懂的抠眼珠子。 来源： oschina 链接： https://my.oschina.net/u/4383141/blog/4534198

一、 简介 Elasticsearch是一个高度可扩展的开源全文搜索和分析引擎。它允许您快速，近实时地存储，搜索和分析大量数据。它通常用作支持具有复杂搜索功能和需求的应用程序的底层引擎/技术。 架构图： 二、安装前准备 服务器环境 Node1: ES、 Node2： ES、filebeat、logstash Node3： ES、kibana 1、系统优化（在正式安装前需要进行系统优化，负责无法启动） 单个JVM下支撑的线程数 vim /etc/sysctl.conf vm.max_map_count=655360 vm.swappiness=0 修改文件句柄数 root用户设置 vim /etc/security/limits.conf root soft nofile 65535 root hard nofile 65535 * soft nofile 65536 * hard nofile 65536 * soft memlock unlimited * hard memlock unlimited 普通账户设置 （es使用非root启动） vim /etc/security/limits.d/20-nproc.conf * soft nproc 65535 * hard nproc 65535 root soft nproc unlimited 2、基础环境 #配置主机名

​ 一、引言 随着腾讯云 Elasticsearch 云产品功能越来越丰富，ES 用户越来越多，云上的集群规模也越来越大。我们在日常运维工作中也经常会遇到一些由于前期集群规划不到位，导致后期业务增长集群规模大了之后带来的各种各样的集群可用性及稳定性问题。 这里列举下其中比较典型的几种集群规划问题： 节点规格规划问题：集群数量很大，但是每个节点的配置很低； 索引分片规划问题：索引很小，但是设置了几十个分片，或者索引很大，只设置了两三个分片； 分片数量规划问题：集群中包含 10万+ 的分片。 正所谓磨刀不误砍柴工，只有前期做好充分的集群评估规划工作，后期才能省去大量的运维工作。且能够长期保证集群的高可用和高稳定性。 本文结合我们在给腾讯云 ES 集群日常运维工作中遇到的各种集群问题及总结沉淀的一些运维经验，来介绍下如何规划好集群容量及索引配置，以及所遵循的一些原则和经验。 文章作者：吴容，腾讯云Elasticsearch研发工程师。 二、集群规模及索引规划 1. 集群规模评估 （1）评估什么？ 集群规模的评估主要评估以下三个方面： 第一，计算资源评估 ， 计 算资源的评估主要是评估单节点的CPU和内存。 ES的计算资源一般消耗在写入和查询过程，经过总结大量ES集群的运维经验，2C8G 的配置大概能支持 5k doc/s 的写入，32C64G 的配置大概能支撑 5w doc/s的写入能力

腾讯云 CKafka 作为大数据架构中的关键组件，起到了数据聚合，流量削峰，消息管道的作用。在 CKafka 上下游中的数据流转中有各种优秀的开源解决方案。如 Logstash，File Beats，Spark，Flink 等等。本文将带来一种新的解决方案：Serverless Function。其在学习成本，维护成本，扩缩容能力等方面相对已有开源方案将有优异的表现。 作者简介：许文强，腾讯云 Ckafka 核心研发，精通 Kafka 及其周边生态。对 Serverless，消息队列等领域有较深的理解。专注于 Kafka 在公有云多租户和大规模集群场景下的性能分析和优化、及云上消息队列 serverless 化的相关探索。 Tencent Cloud Kafka 介绍 Tencent Cloud Kafka 是基于开源 Kafka 引擎研发的适合大规模公有云部署的 Cloud Kafka。是一款适合公有云部署、运行、运维的分布式的、高可靠、高吞吐和高可扩展的消息队列系统。它 100% 兼容开源的 Kafka API，目前主要支持开源的 0.9, 0.10, 1.1.1, 2.4.2 四个大版本 ，并提供向下兼容的能力。 目前 Tencent Cloud Kafka 维护了超过 4000+ 节点的集群，每日吞吐的消息量超过 9 万亿+条，峰值带宽达到了 800GB+/s,