kibana

持续集成、自动化测试进一步要求软件研发有一个良好的环境支撑，即本章要讨论的基础设施，包括虚拟技术与Docker技术、基础设施即代码、持续集成环境、单元测试TA框架、系统测试TA框架、验收测试TA框架（包括需求实例化与BDD框架）、DevOps工具链等。 3.1虚拟机与容器技术 虚拟机 大大提高服务器利用率 从数据中心空间、机柜、网线、耗电量、空调等方面大大节省维护费用 能快速完成虚拟机的环境安装和恢复 标准化环境和改进安全，包括高级备份策略，在更少冗余的情况下，确保高可用性，容易实现添加、移动、变更和重置服务器的操作 通过部署在刀片式（机架式）服务器上的虚拟中心来管理虚拟和实体主机，建立一个逻辑的资源地，连续地整合系统负载，进而优化硬件使用率和降低成本 容器 镜像体积更小，只包括应用软件系统和所依赖的环境 创建和启动更快，不需要启动Guest OS 层次更高，降低额外资源开销，资源控制粒度更小，部署密度更大 使用的是真实物理资源，因此不存在性能损耗 3.2基础设施即代码 云平台要求具有良好的可伸缩性（弹性），可以动态、灵活地分配各个项目所需的资源（存储能力、计算能力、传输能力等）。 一切都是API，环境的安装、升级和配置都通过API调用方式实现。 基础设施即代码（Infrastructure as Code，IaC），通过机器可读定义文件管理和配置计算数据中心的过程

少点代码，多点头发 本文已经收录至我的GitHub,欢迎大家踊跃star 和 issues。 https://github.com/midou-tech/articles 从今天开始准备给大家带来全新的一系列文章，Elasticsearch系列 新系列肯定会有很多疑惑，先为大家答疑解惑，下面是今天要讲的问题 为什么写Elasticsearch系列文章？ 之前在文章中也陆陆续续的提到过，龙叔是做搜索引擎的。搜索引擎技术属于商业技术，大家耳熟能详的百度搜索，Google搜索，这可都是因为把握核心搜索技术，从而诞生了商业帝国。 每个互联网大厂都想去分一杯搜索的羹，360搜索、神马、头条、搜狗搜索等等，由此可见搜索技术的商业作用和机密性了。 搜索把握用户的入口 蘑菇街的搜索引擎是一款使用C++开发、完全自研、没有开源的搜索引擎，没有开源就是不能随便写出来的。 但是现在不一样了 第一、我离职了，离开了意味着不在持有那些商业机密了，就算不讲出来我也没啥心理负担(但还是不能讲的，离职协议写的很清楚，不能 泄露公司商业机密 )。 第二、去新的公司还是在搜索领域，他们用Es Elasticsearch是一个开源搜索，开源的东西可以随便说，但还是不能说公司的 商业数据 。 自己一直在搜索领域做，输出搜索相关的文章，第一个可以让自己更好的学习和总结，第二个可以让粉丝们了解到搜索这个神秘的技术

K8S监控实战-ELK收集K8S内应用日志 目录 K8S监控实战-ELK收集K8S内应用日志 1 收集K8S日志方案 1.1 传统ELk模型缺点： 1.2 K8s容器日志收集模型 2 制作tomcat底包 2.1 准备tomcat底包 2.1.1 下载tomcat8 2.1.2 简单配置tomcat 2.2 准备docker镜像 2.2.1 创建dockerfile 2.2.2 准备dockerfile所需文件 2.2.3 构建docker 3 部署ElasticSearch 3.1 安装ElasticSearch 3.1.1 下载二进制包 3.1.2 配置elasticsearch.yml 3.2 优化其他设置 3.2.1 设置jvm参数 3.2.2 创建普通用户 3.2.3 调整文件描述符 3.2.4 调整内核参数 3.3 启动ES 3.3.1 启动es服务 3.3.1 调整ES日志模板 4 部署kafka和kafka-manager 4.1 但节点安装kafka 4.1.1 下载包 4.1.2 修改配置 4.1.3 启动kafka 4.2 获取kafka-manager的docker镜像 4.2.1 方法一 通过dockerfile获取 4.2.2 直接下载docker镜像 4.3 部署kafka-manager 4.3.1 准备dp清单 4.3.2 准备svc资源清单 4

作者介绍 魏彬，普翔科技 CTO，开源软件爱好者，中国第一位 Elastic 认证工程师，《Elastic日报》和 《ElasticTalk》社区项目发起人，被 elastic 中国公司授予 2019 年度合作伙伴架构师特别贡献奖。对 Elasticsearch、Kibana、Beats、Logstash、Grafana 等开源软件有丰富的实践经验，为零售、金融、保险、证券、科技等众多行业的客户提供过咨询和培训服务，帮助客户在实际业务中找准开源软件的定位，实现从 0 到 1 的落地、从 1 到 N 的拓展，产生实际的业务价值。 如果你关注过 Elasticsearch 的日志，可能会看到如下类似的内容： [2018-06-30T17:57:23,848][WARN ][o.e.m.j.JvmGcMonitorService] [qoo- 来源： oschina 链接： https://my.oschina.net/u/4406565/blog/4328587

单节点 xpack 配置 修改 ES 配置文件，开启 Security 默认文件： ./config/elasticsearch.yml xpack.security.enabled: true xpack.security.transport.ssl.enabled: true 配置修改完之后重启 ES。 设置内置用户密码 ./bin/elasticsearch-setup-passwords interactive 修改 Kibana 配置文件，访问 ES 默认文件： $KIBANA_HOME/config/kibana.yml elasticsearch.username: "elastic" elasticsearch.password: "elastic" xpack.security.enabled: true xpack.security.encryptionKey: "4297f44b13955235245b2497399d7a93" 重启 Kibana，重新登录。 ES 集群 xpack 配置 官方文档： https://www.elastic.co/guide/en/elasticsearch/reference/master/configuring-tls.html 为 ES 集群创建节点认证中心 ./bin/elasticsearch-certutil ca

Elasticsearch 7.7.0使用xpack认证 一. 证书配置: (证书需放至各Node的config目录下) $ cd /opt/elasticsearch/ $ ./bin/elasticsearch-certutil ca $ ./bin/elasticsearch-certutil cert -ca elastic-stack-ca.p12 $ mv elastic-stack-ca.p12 config/ $ mv elastic-certificates.p12 config/ 二. 修改各Node配置文件: $ grep -E -v "^#|^$" config/elasticsearch.yml cluster.name: my-es node.name: node-0 path.data: /opt/elasticsearch/data path.logs: /opt/elasticsearch/logs network.host: 192.168.3.120 http.port: 9200 transport.tcp.port: 9300 transport.tcp.compress: true discovery.seed_hosts: ["docker0","docker1","docker2"] cluster.initial_master

kibana-7.7.0配置 一. 下载解压安装即可： tar -zxvf kibana-7.7.0-linux-x86_64.tar.gz -C /opt/ cd /opt/kibana-7.7.0 二. 修改配置文件 ES开启认证,kibana连接es以及访问es都需要认证,kibana的配置，有两种方法，一种明文的，一种密文 1. 明文配置 $ grep -E -v "^#|^$" config/kibana.yml server.host: "192.168.3.120" elasticsearch.hosts: ["http://192.168.3.120:9200","http://192.168.3.121:9200","http://192.168.3.122:9200"] elasticsearch.username: "kibana" elasticsearch.password: "YourKibanaPWD" kibana.index: ".kibana" i18n.locale: "zh-CN" 2. 密文配置 需要首先将用户名密码保存到内置的ketstore里,执行如下三条命令,用户名时候输入kibana,密码输入相应密码: $./bin/kibana-keystore --allow-root create $./bin/kibana-keystore

【最佳实践示例】Logstash JDBC实现ElasticSearch与关系型数据库PostgreSQL近实时同步 在数据全文检索需求越来越大的今天，很多公司都在关系数据库数据的基础上，加上了Elastic Search，来进行数据快速全文检索，所以ElasticSearch与关系型数据库数据进行数据同步就变的尤为重要。本文主要介绍PostgreSQL数据库通过Logstash-JDBC插件与ElasticSearch进行数据的近实时同步。 系统配置 ElasticSearch: 7.6.2 PostgreSQL: 10+190ubuntu kibana: 7.4.0 Logstash: 7.6.2 posgresql 数据库结构 此数据结构是临时想的，在正常的项目中是不会存在这种结构的，大家见谅。一张学生表，一张老师表，通过课程进行关联。（这种关联关系显示生活中不会这样设计的，但是能说明问题就行一切从简） create table student( id bigint primary key NOT NULL, name varchar(5) not null, sex char(1) default '男' , age int check(age>1), courses varchar(20), create_time TIMESTAMP NOT NULL DEFAULT

前言 一直以来对于.NETCore微服务相关的技术栈都处于一个浅尝辄止的了解阶段，在现实工作中也对于微服务也一直没有使用的业务环境，所以一直也没有整合过一个完整的基于.NETCore技术栈的微服务项目。正好由于最近刚好辞职，有了时间可以写写自己感兴趣的东西，所以在此想把自己了解的微服务相关的概念和技术框架使用实现记录在一个完整的工程中，由于本人技术有限，所以错误的地方希望大家指出。 目录 .NETCore微服务探寻(一) - 网关 .NETCore微服务探寻(二) - 认证与授权 项目地址: https://github.com/yingpanwang/fordotnet/tree/dev 为什么需要分布式日志 在项目的运行运行过程中，不可避免的是由于系统原因或者业务原因产生的警告或异常，这时我们需要根据产生的异常或警告信息快速排查出现的问题并修复，但是由于多个服务产生的过于庞杂的信息使那些以往通过直接写入日志文件的方式已经无法满足快速排查的需求了，因为直接写入日志文件只能根据事先制定好的规则查看日志信息，但是由于体量过大导致排查起来异常麻烦，例如，如果问题出现在 6月20日的凌晨1点 日志文件对应的是 log-2020-06-20 ，那么导致这个问题产生的原因可能20日之前的前置问题已经产生，如果我们需要排查的话，由于无法宏观分析问题的出现原因

技术只是基础 　　该系列的两篇文章《 .Net微服务实战之技术选型篇 》和《 .Net微服务实战之技术架构分层篇 》都是以技术角度出发描述微服务架构的实施。 　　如果技术选型篇叙述的是 工具 ，那么架构分层篇讲的就是 技巧 ，而本篇要讨论的就是 原则 。一直以来我会给身边向我探讨问题的人灌输一种理念，没有什么技术银弹，因为我们做的是软件工程，提供的是问题相应的解决方案，不同类型问题的解决方案是存在着本质上的差异。 　　继续提供之前的源码：https://github.com/SkyChenSky/Sikiro PS：该篇文章与.Net无关，其实主要是沿用前面两篇文章的命名，此外我认为DevOps不是简单的工具使用，应从软件工程角度进行出发。 什么才是优秀的架构设计？ 　　曾经有好几个同行问过我同一个问题：什么才是优秀的架构设计？我一直信奉着 两句话 和 一个定律 ： 架构服务于业务，技术服务于架构 康威定律（简单理解成组织架构的设计等同于系统架构的设计） 　　 架构设计 其实就是一种 方案 的 取舍 ，在 有限 的 资源 里(包括但不限人力、时间)能让 团队 顺利的实施技术，同时满足 业务规模 的需要，我认为可以称之为优秀的架构设计，简单来说两个字 合适 架构核心要素 　　核心的主要5大： 性能、可用性、伸缩性、扩展性、安全性 。 　　而我们所讨论的微服务，选择了扩展性