kibana

技术只是基础 　　该系列的两篇文章《 .Net微服务实战之技术选型篇 》和《 .Net微服务实战之技术架构分层篇 》都是以技术角度出发描述微服务架构的实施。 　　如果技术选型篇叙述的是 工具 ，那么架构分层篇讲的就是 技巧 ，而本篇要讨论的就是 原则 。一直以来我会给身边向我探讨问题的人灌输一种理念，没有什么技术银弹，因为我们做的是软件工程，提供的是问题相应的解决方案，不同类型问题的解决方案是存在着本质上的差异。 　　继续提供之前的源码：https://github.com/SkyChenSky/Sikiro PS：该篇文章与.Net无关，其实主要是沿用前面两篇文章的命名，此外我认为DevOps不是简单的工具使用，应从软件工程角度进行出发。 什么才是优秀的架构设计？ 　　曾经有好几个同行问过我同一个问题：什么才是优秀的架构设计？我一直信奉着 两句话 和 一个定律 ： 架构服务于业务，技术服务于架构 康威定律（简单理解成组织架构的设计等同于系统架构的设计） 　　 架构设计 其实就是一种 方案 的 取舍 ，在 有限 的 资源 里(包括但不限人力、时间)能让 团队 顺利的实施技术，同时满足 业务规模 的需要，我认为可以称之为优秀的架构设计，简单来说两个字 合适 架构核心要素 　　核心的主要5大： 性能、可用性、伸缩性、扩展性、安全性 。 　　而我们所讨论的微服务，选择了扩展性

在之前我的文章 “ Elastic：使用Postman来访问Elastic Stack ” 中我介绍了如何在应用中访问 Elasticsearch。在那里，我们使用了最基本的 Basic authentication 的方法来访问 Elasticsearch。这种方法不好的地方就是每个用户所有的请求的验证都是一样的：使用的是同样的一个用户名及密码的 Base64 编码。在今天的文章中，我们将介绍如何创建 API key 来提供对 Elasticsearch 的访问。通过这个方法，一个用户可以动态生成无数个 API Key 的访问。 官方文档，可以在 链接 找到。 接口 它的接口非常简单： POST /_security/api_key PUT /_security/api_key API Key 由 Elasticsearch API key 服务创建，当您在 HTTP 接口上配置TLS时，该服务会自动启用。 请参阅加密 HTTP客户端通信 。 或者，你可以显式启用 xpack.security.authc.api_key.enabled 设置。 在生产模式下运行时，引导检查会阻止您启用 API key 服务，除非你还在 HTTP 接口上启用了TLS。 成功创建 API key API 调用将返回一个JSON结构，其中包含API 密钥，其唯一 ID 和名称。 如果适用

技术只是基础 　　该系列的两篇文章《 .Net微服务实战之技术选型篇 》和《 .Net微服务实战之技术架构分层篇 》都是以技术角度出发描述微服务架构的实施。 　　如果技术选型篇叙述的是 工具 ，那么架构分层篇讲的就是 技巧 ，而本篇要讨论的就是 原则 。一直以来我会给身边向我探讨问题的人灌输一种理念，没有什么技术银弹，因为我们做的是软件工程，提供的是问题相应的解决方案，不同类型问题的解决方案是存在着本质上的差异。 　　继续提供之前的源码：https://github.com/SkyChenSky/Sikiro PS：该篇文章与.Net无关，其实主要是沿用前面两篇文章的命名，此外我认为DevOps不是简单的工具使用，应从软件工程角度进行出发。 什么才是优秀的架构设计？ 　　曾经有好几个同行问过我同一个问题：什么才是优秀的架构设计？我一直信奉着 两句话 和 一个定律 ： 架构服务于业务，技术服务于架构 康威定律（简单理解成组织架构的设计等同于系统架构的设计） 　　 架构设计 其实就是一种 方案 的 取舍 ，在 有限 的 资源 里(包括但不限人力、时间)能让 团队 顺利的实施技术，同时满足 业务规模 的需要，我认为可以称之为优秀的架构设计，简单来说两个字 合适 架构核心要素 　　核心的主要5大： 性能、可用性、伸缩性、扩展性、安全性 。 　　而我们所讨论的微服务，选择了扩展性

作者介绍 魏彬，普翔科技 CTO，开源软件爱好者，中国第一位 Elastic 认证工程师，《Elastic日报》和 《ElasticTalk》社区项目发起人，被 elastic 中国公司授予 2019 年度合作伙伴架构师特别贡献奖。对 Elasticsearch、Kibana、Beats、Logstash、Grafana 等开源软件有丰富的实践经验，为零售、金融、保险、证券、科技等众多行业的客户提供过咨询和培训服务，帮助客户在实际业务中找准开源软件的定位，实现从 0 到 1 的落地、从 1 到 N 的拓展，产生实际的业务价值。 为什么要压测 关于压测，我们先来看下百度百科上的一个定义。 压测，即压力测试，是确立系统稳定性的一种测试方法，通常在系统正常运作范围之外进行，以考察其功能极限和隐患。 从定义不难看出压测的目的，是要测出一个系统的极限 来源： oschina 链接： https://my.oschina.net/u/4410617/blog/4306305

使用elastic stack搭建日志收集分析系统 1. elasticsearch的搭建 2. cerebro的搭建 3. kibana的搭建 4. fielbeat的搭建 随着公司的发展，需要一个日志分析系统，来分析用户数据，为了调研，所以先使用elastic stack搭建了一个单节点的日志收集分析系统。 使用技术：elasticsearch7.1.1、cerebro0.9.0、kibana7.1.1、filebeat7.1.1。 1. elasticsearch的搭建 elasticsearch的搭建 先在官网下载es7.1.1安装包，上传到服务器之后解压。 新建esuser用户。es出于安全考虑，不推荐使用root用户运行。 # 添加用户组 groupadd esgroup # 添加用户 useradd -g esgroup esuser # 修改密码 passwd esuser 修改elasticsearch目录权限。 chown -R esuser:esgroup elasticsearch-7.1.1/ 选择合适的位置，新建es_data(存储es数据)，es_logs(存储es日志)目录，并修改文件夹权限为 esuser:esgroup。 mkdir es_data mkdir es_logs chown -R esuser:esgroup es_data

最近想把我的mall项目升级下，支持SpringBoot 2.3.0 版本。升级过程中发现需要升级Elasticsearch到7.x版本，学习过我的mall项目的朋友应该知道， 我用的Elasticsearch是6.x版本，升级到7.x以后ElasticsearchTemplate都不让用了。本文记录了Elasticsearch从6.x升级到7.x所遇到的一些问题，给大家排排坑！ 版本选择 既然我们要升级到Elasticsearch7.x版本，首先要选择合适的版本。如何选择合适的版本，这里有个小技巧分享给大家。 首先我们可以在pom.xml中修改SpringBoot依赖的版本为2.3.0； < parent > < groupId > org.springframework.boot </ groupId > < artifactId > spring-boot-starter-parent </ artifactId > < version > 2.3.0.RELEASE </ version > < relativePath /> <!-- lookup parent from repository --> </ parent > 然后在项目的External Libraries中搜索elasticsearch，可以发现elasticsearch-7.6.2.jar这个依赖；

参考链接： https://www.cnblogs.com/fbtop/p/11005469.html 目的： 线程请求生成对应的requestId，根据requestId追踪链路生产消费的数据，方便定位问题和回溯；基于一些XXX考虑，和阿巴阿巴阿巴的原因先拿FileBeat+ELK的方式进行实验，跑通日志收集和展示的功能。 为了避免重复造轮子，本篇只对上出链接博客做一些补充： 1.单机/docker/版本7.1.1； 2.docker四大网络的特点： https://www.cnblogs.com/zhuochong/p/10069293.html ；本次采用net=bridge的网络模式，禁止出现localhost 和127.0.0.1，统一使用本机ip（重要）； 3.对docker -v挂载命令有所了解； 4.确认fileBeat是否采集到了日志：进入容器 [docker exec -i -t 容器号 bash] ，查看/var/log/nginx/下的日志文件即可；另外docker启动时可以去掉 -d 参数，观看启动运行日志，方便查看状态； 下载 curl -L -O https://raw.githubusercontent.com/elastic/beats/7.1/deploy/docker/filebeat.docker.yml时提示链接失败

ELK工作管理 1. 每台服务器集群节点安装 Logstash 日志收集系统插件 2. 每台服务器节点将日志输入到 Logstash 中 3. Logstash 将该日志格式化为 json 格式，根据每天创建不同的索引，输出到 Elasticsearch 中 4. 浏览器使用安装 Kibana 查询日志信息 Logstash日志收集 环境安装 1. 安装 ElasticSearch 2. 安装 Logstash 3. 安装Kibana 来源： oschina 链接： https://my.oschina.net/huanke/blog/4304742

引言 自从2018年从Cloud Native Computing Foundation（CNCF）出现以来，您可能已经在使用K8操作系统，随着容器云技术的发展以及落地，提高了企业运维的效率和质量，并且降低了企业运营成本，但同时带来的问题是运维的复杂度和难度，举个例子 🌰 ：由于容器的生命周期短，随时可能飘移到其他物理资源上运行，因此日志的采集和运行的监控很难像传统方式登录到服务器上查看，而运营团队需要了解有价值的数据来进行问题定位以及运营数据分析。 为了更广泛地提供这种可观察性，我们需要提供满足云原生环境下的监控能力。 JFrog 通过使用Elasticsearch和Kibana套件，以及Prometheus 和Grafana套件来监控Artifactory 制品库以及Xray 漏洞扫描工具的运行情况，下面我们一起了解JFrog 如何在云原生环境进行应用运维。 日志分析 Easticsearch是一个分布式且可扩展的搜索引擎，可用于搜索全文，结构化文本和分析。它通常用于搜索大量数据以及搜索不同类型的文档。 Kibana是Elasticsearch最常用的可视化和仪表板。Kibana使您能够通过构建可视化和仪表板的Web UI探索Elasticsearch日志数据。 下面我们将向您展示如何利用同类最佳的开源日志分析技术：Elastic

ElasticStack介绍 　　ElasticStack 是一系列开源产品的合集，包括 Elasticsearch、Kibana、Logstash 以及 Beats 等，能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。其中，Logstash和Beats负责数据的收集，Kibana负责结果数据的可视化展现，Elasticsearch作为核心部分用于数据的分布式存储以及索引。 　　可以使用ElasticStack进行收集并处理任何数据，最为经典的是用于实时日志数据的收集、存储、展现。在此之前，如果实现实时日志的分析，需要经过繁琐的架构设计并且使用多个系统实现，现在只需要使用ElasticStack即可实现功能强大的实时日志分析系统，ElasticStack不仅仅用来做日志分析，它可以处理任何的数据并且进行存储、展现。 　　 　　 　　 Elasticsearch 　　Elasticsearch 基于java，是个开源分布式搜索引擎，它的特点有:分布式，零配置，自动发现，索引自动分片，索引 副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash 　　Logstash 基于java，是一个开源的用于收集,分析和存储日志的工具。 Kibana 　　Kibana 基于nodejs，也是一个开源和免费的工具，Kibana可以为