filebeat

k8s集群日志收集 收集哪些日志 K8S系统的组件日志 K8S Cluster里面部署的应用程序日志 日志方案 Filebeat+ELK        Filebeat(日志采集工具)+Logstach(数据处理引擎)+Elasticserch(数据存储、全文检索、分布式搜索引擎)+Kibana（展示数据、绘图、搜索）        3 容器中的日志怎么收集        收集方案：Pod中附加专用日志收集的容器 优点：低耦合 缺点：每个Pod启动一个日志收集代理，增加资源消耗和运维维护成本              4 部署DaemonSet采取k8s组件日志/var/log/messages        4.1 ELK安装在harbor节点        安装、配置ELK        1)安装openjdk yum -y install java-1.8.0-openjdk              2）安装Logstash https://www.elastic.co/guide/en/logstash/7.6/installing-logstash.html              配置网络源 /etc/yum.repos.d/logstash.repo [logstash-7.x] name=Elastic repository for 7.x packages

K8S : Helm 部署 ELK 7.6 场景 ​ 在 K8S 上部署有状态应用 ELK，收集日常测试数据的上报（应用拨测的 Heartbeat、调用链追踪的 APM、性能指标 metabeat 等）。本文通过rook提供底层存储，用于安装elk的statefulset，然后部署MetalLB实现本地负载均衡，最后通过ingress-control实现访问kibana。 操作步骤 1.安装rook 2.安装helm 3.安装ES 4.安装kibana 5.安装filebeat 6.安装metalLB 7.安装Ingress-control 8.访问测试 1.安装rook 1.1 安装说明 ​ Rook是专用于Cloud-Native环境的文件、块、对象存储服务。它实现了一个自我管理的、自我扩容的、自我修复的分布式存储服务。Rook支持自动部署、启动、配置、分配（provisioning）、扩容/缩容、升级、迁移、灾难恢复、监控，以及资源管理。为了实现所有这些功能，Rook依赖底层的容器编排平台。 ​ Ceph是一个分布式存储系统，支持文件、块、对象存储，在生产环境中被广泛应用。 ​ 此次安装就是通过rook进行ceph进行部署，简化了ceph的安装管理配置。同时也是为了能够利用本地资源。提供storageclass。 1.2 rook和ceph架构 1.2 安装ceph

　　Docker从狭义上来讲就是一个进程，从广义上来讲是一个虚拟容器，专业叫法为 Application Container（应用容器）。Docker进程和普通的进程没有任何区别，它就是一个普通的应用进程，不过是用来操作镜像文件的。所以Docker进程+构建的应用镜像文件就等于Docker容器。作为时下最热门的技术，docker轻量、便捷，极大的简化了后端开发/后期运维工作。同时，ELK+Filebeat的集中式日志解决方案也是大热。开发环境，Ubuntu 16.04 　　1、Docker安装 　　1.校验Linux内核版本 uname -ir 　　Linux内核版本高于3.10，64位系统 　　2.获取最新doker安装包 wget -qO- https://get.docker.com/ | sh 　　如上图，即安装完成 　　3.启动docker后台服务 sudo service docker start #启动守护进程 docker -v # 检查版本 　　如此docker即装好，具体的安装详情，教程很多，不赘述 　　2、安装elk镜像 　　1.拉取 sebp/elk镜像 sudo docker pull sebp/elk 　　镜像较大，差不多1.65G 　　2.说几个会用到的docker命令 sudo docker images // 查看本地已有镜像 sudo

Filebeat快速入门 本笔记整理于 https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation.html ，仅做个人学习总结使用。 Filebeat是轻量级日志采集工具，经常与ELK搭配使用，作为数据采集源头使用。 filebeat使用示意图 安装部署 Centos7(作者使用) 由于下载太慢了，所以我这里保存了一个下载好的版本（filebeat-6.3.2-linux-x86_64.tar）,如果使用请自取： https://quqi.gblhgk.com/s/1727102/vafFOSOsw5AXKP3d 上传到服务器，解压即可 deb(未尝试): curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.1-amd64.deb sudo dpkg -i filebeat-7.6.1-amd64.deb rpm(未尝试): curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.6.1-x86_64.rpm sudo rpm -vi filebeat-7.6.1-x86_64.rpm

基于ELK搭建微服务日志中心 ELK简介 什么是ELK？通俗来讲，ELK是由Elasticsearch、Logstash、Kibana 三个开源软件组成的一个组合体，这三个软件当中，每个软件用于完成不同的功能，ELK又称ELKstack，官网 https://www.elastic.co/ ， ELK主要优点有如下几个： 1、处理方式灵活：elasticsearch是实时全文索引，具有强大的搜索功能 2、配置相对简单：elasticsearch全部使用JSON接口，logstash使用模块配置，kibana的配置文件部分更简单 3、检索性能高：基于优秀的设计，虽然每次查询都是实时，但是也可以达到百亿级数据的查询秒级响应 4、集群线性扩展：elasticsearch和logstash都可以灵活线性扩展 5、前端操作绚丽：kibana的前端设计比较绚丽，而且操作简单 Elasticsearch elasticsearch是一个高度可扩展全文搜索和分析引擎，基于Apache Lucene 构建，能对大容量的数据进行接近实时的存储、搜索和分析操作，可以处理大规模日志数据，比如Nginx、Tomcat、系统日志等功能。 Logstash 数据收集引擎。它支持动态的从各种数据源搜集数据，并对数据进行过滤、分析、丰富、统一格式等操作，然后存储到用户指定的位置；支持普通log

环境 centos 7.0（至少需要3G内存，该安装包较大） docker 19.0 ELK镜像 sebp/elk（7.6.0版本） Docker安装部署ELK   选择的是sebp/elk镜像，这里基本没有什么需要配置的，docker search elk 找到stars最多的pull下来。 docker pull sebp/elk   先把对应的文件都拷贝到宿主机当中 1.创建文件夹 mkdir /root/data/es/{conf,data} mkdir /root/data/logstash/config 2.在运行容器并且把容器里的配置cp到宿主机当中 docker run --tid --name elk sebp/elk docker cp -a elk:/opt/kibana/config/kibana.yml docker cp -a elk:/opt/logstash/config 3.然后删除刚才创建的容器 docker rm -f elk 1 .运行elk   pull下来之后,因为需要修改kibana配置，和logstash配置，所以把一些常用的配置挂载到容器目录 1.命令 docker run -tid -p 5601:5601 -p 5044:5044 -p 9200:9200 -p 9300:9300 \ -v /root/data/es/conf

背景 作为中国最大的在线教育站点，目前沪江日志服务的用户包含网校，交易，金融，CCTalk 等多个部门的多个产品的日志搜索分析业务，每日产生的各类日志有好十几种，每天处理约10亿条（1TB）日志，热数据保留最近7天数据，冷数据永久保存。 为什么做日志系统 首先，什么是日志？ 日志就是程序产生的，遵循一定格式（通常包含时间戳）的文本数据 通常日志由服务器生成，输出到不同的文件中，一般会有系统日志、 应用日志、安全日志。这些日志分散地存储在不同的机器上。 通常当系统发生故障时，工程师需要登录到各个服务器上，使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下，首先需要定位处理请求的服务器，如果这台服务器部署了多个实例，则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还会设置日志滚动策略（如：每天生成一个文件），还有日志压缩归档策略等。 这样一系列流程下来，对于我们排查故障以及及时找到故障原因，造成了比较大的麻烦。因此，如果我们能把这些日志集中管理，并提供集中检索功能，不仅可以提高诊断的效率，同时对系统情况有个全面的理解，避免事后救火的被动。 我认为，日志数据在以下几方面具有非常重要的作用： 数据查找 ：通过检索日志信息，定位相应的 bug ，找出解决方案 服务诊断 ：通过对日志信息进行统计、分析