Elastic

客户简介 畅捷通是为小微企业打造的管理云平台。工作圈是畅捷通小微企业管理云平台的统一入口， 整合了企业人力资源管理、协同办公、财务管理及进货、存货、销售管理等核心应用。企业通过工作圈可以完全做到发票 、财务 、税务一体化管理 。 选择阿里云 畅捷通开始使用阿里云的服务时，大部分的业务都集中在线下IDC。2016年，畅捷通确立了云上发展的战略方向，制定了和阿里云合作的上云计划，把“工作圈”部分业务迁移到云上。 阿里云企业服务团队协助畅捷通快速定位问题、解决问题。经过深入的分析排查，发现了造成性能问题的原因。阿里云企业服务工程师迅速给出了云产品使用的优化解决方案。经过优化，畅捷通顺利地达到了期望的性能。 获得的成效 “使用阿里云的售后企业级服务，让阿里云售后可以融入到我们的业务和目标当中去，售后企业级服务提供的技术经理和服务经理服务，让我们随时掌握最新的变化，工作非常认真、负责。日常工作中大到云上产品的架构方案与需求支持，小到业务中的故障排除，都给予了我们巨大的帮助。”——畅捷通运维总监 熊昌伟 相关产品和服务 相关产品： 云服务器ECS 云服务器（Elastic Compute Service，简称ECS）是阿里云提供的性能卓越、稳定可靠、弹性扩展的IaaS（Infrastructure as a Service）级别云计算服务。云服务器ECS免去了您采购IT硬件的前期准备

RabbitMQ是一个开放源消息代理，创建于2007年以实现AMQP，并且在过去的十二年中，通过不断增加的插件列表，它已包括HTTP，STOMP，SMTP和其他协议。它也是Kafka的一个强劲的竞争者。在今天的文章中，我们将详述如何使用Elastic Stack来监控RabbitMQ。 RabbitMQ简介 RabbitMQ是消息队列软件，也称为消息代理或队列管理器。 简单地说； 它是定义队列的软件，应用程序连接到该队列以传输一条或多条消息。 一条消息可以包含任何种类的信息。 例如，它可能具有有关应在另一个应用程序（甚至可能在另一个服务器上）上启动的过程或任务的信息，或者可能只是一条简单的文本消息。 队列管理器软件存储消息，直到接收应用程序连接并从队列中取出消息为止。 接收应用程序然后处理该消息。 消息队列的基本体系结构很简单-有一些称之为生产者（producers）的客户端应用程序，它们可以创建消息并将其传递到代理（消息队列）。 其他应用程序（称为消费者，也即consumers）连接到队列并订阅要处理的消息。 软件可以充当消息的生产者或消费者，或者既充当消息的消费者又充当生产者。 存储在队列中的消息将被存储，直到消费者检索到它们为止。 在下面我们来具体介绍如何使用Elastic Stack来把我们想要的RabbitMQ日志导入到Elastic Stack中，并对日志进行分析。

客户简介 ATA（全美在线）是中国智能化考试测评服务的创始者与领导者，最大的计算机智能化考试测评服务供应商之一。作为专业的第三方考试服务公司，致力于为考试主办方、考生提供领先、专业的考试技术与运营服务，通过持续创新、不断提高考试组织管理效率，保障考试安全性与公平性，同时也通过不断提高考试技术水平、考试运营质量和考生服务体验，提升每一项考试的品质。 选择阿里云 全美在线致力于提供公平公正、便捷高效的考试服务，但是一场大规模考试，上千个考场分布在全国各个城市，同时本地网络环境与质量也存在非常大的差异性，这就为提供统一化管理、实时稳定的监考服务带来了极大的挑战。 针对这些业务痛点，阿里云智能为全美在线提供了顶级支持计划，输出专家咨询服务，与全美在线共同分析业务流程，梳理架构状况，优化监考云架构与配置，为全美在线提供了最佳解决方案。 全美在线监考业务存在大量上行视频流，需传输至监考中心展示，基于阿里云智能的视频直播服务，阿里云智能企业服务团队提供千路级上行接入，构建了流畅、低延迟、高并发的音视频监控能力。 此外，阿里云智能企业服务团队针对全美在线考场分散、网络环境多样化的业务场景进行了优化，利用阿里云智能全球高覆盖的CDN节点优势，将考场视频流智能化推至最优CDN节点，保证了最佳的上行链路，大幅提升了网络稳定性。 获得的成效 全新的云在线监考系统，可实现对每个考场的全方位视频监控

前言 这篇文章主要介绍Elasticsearch的索引工作机制,它是如何利用translog来保证数据的安全,以及我们在生产环境中如何优化translog的参数来最大化性能,主要会介绍到elastic中常见的2个操作:refresh和flush，以及这2个接口是如何保证数据能够被检索到的。 一、数据持久化 我们把数据写到磁盘后,还要调用fsync才能把数据刷到磁盘中,如果不这样做在系统掉电的时候就会导致数据丢失,这个原理相信大家都清楚,elasticsearch为了高可靠性必须把所有的修改持久化到磁盘中。 elastic底层采用的是lucene这个库来实现倒排索引的功能,在lucene的概念里每一条记录称为document(文档),lucene使用segment(分段)来存储数据,用commit point来记录所有segment的元数据，一条记录要被搜索到,必须写入到segment中,这一点非常重要,后面会介绍为什么elastic搜索是near-realtime(接近实时的)而不是实时的。 elastic使用translog来记录所有的操作,我们称之为write-ahead-log，我们新增了一条记录时，es会把数据写到translog和in-memory buffer(内存缓存区)中,如下图所示: 内存缓存区和translog就是near-realtime的关键所在

基于ES内置及自定义用户实现kibana和filebeat的认证 作者： “发颠的小狼” ，欢迎转载 目录 ▪ 用途 ▪ 关闭服务 ▪ elasticsearch-修改elasticsearch.yml配置 ▪ elasticsearch-开启服务 ▪ elasticsearch-建立本地内置用户 ▪ kibana-创建私钥库 ▪ kibana-WEB界面确认用户 ▪ filebeat-在WEB界面创建角色及用户 ▪ filebeat-服务器上创建密钥库 ▪ filebeat-配置filebeat.yml ▪ 测试 ▪ 附录 用途 前情提要： ▷ 在第一篇《EFK教程 - 快速入门指南》中，阐述了EFK的安装部署，其中ES的架构为三节点，即master、ingest、data角色同时部署在三台服务器上。 ▷ 在第二篇《EFK教程 - ElasticSearch高性能高可用架构》中，阐述了EFK的data/ingest/master角色的用途及分别部署三节点，在实现性能最大化的同时保障高可用。 ▷ 在第三篇《EFK教程(3) - ElasticSearch冷热数据分离》中，阐述了ES多实例部署，将不同热度的数据存在不同的磁盘上，实现了数据冷热分离、资源合理分配。 ▷ 在第四篇《EFK教程(4) - ElasticSearch集群TLS加密通讯》中，阐述了ES集群创建CA、CERT证书

一、概述 在 Spring Reactor 项目中，有两个出镜较少的方法： publishOn 和 subscribeOn 。这两个方法的作用是指定执行 Reactive Streaming 的 Scheduler（可理解为线程池）。 为何需要指定执行 Scheduler 呢？一个显而易见的原因是：组成一个反应式流的代码有快有慢，例如 NIO、BIO。如果将这些功能都放在一个线程里执行，快的就会被慢的影响，所以需要相互隔离。这是这两个方法应用的最典型的场景。 二、Scheduler 在介绍 publishOn 和 subscribeOn 方法之前，需要先介绍 Scheduler 这个概念。在 Reactor 中， Scheduler 用来定义执行调度任务的抽象。可以简单理解为线程池，但其实际作用要更多。先简单介绍 Scheduler 的实现： Schedulers.elastic() : 调度器会动态创建工作线程，线程数无上界，类似于 Execturos.newCachedThreadPool() Schedulers.parallel() : 创建固定线程数的调度器，默认线程数等于 CPU 核心数。 关于 Scheduler 的更多作用留在以后介绍。 三、publishOn 与 subscribeOn 接下来进入正题。先看两个例子（来自 https://github.com

问题说明 Spring Boot 2.2.3 修复了 Spring Boot 2.2 的大量问题，当升级至 2.2.3 以后，直接翻车 pigx-gateway 网关应用直接启动不起来。 翻车日志 *************************** APPLICATION FAILED TO START *************************** Description: An attempt was made to call a method that does not exist. The attempt was made from the following location: org.springframework.cloud.gateway.config.GatewayAutoConfiguration$NettyConfiguration.gatewayHttpClient(GatewayAutoConfiguration.java:597) The following method did not exist: reactor.netty.resources.ConnectionProvider.elastic(Ljava/lang/String;Ljava/time/Duration;)Lreactor/netty/resources

1.拉取Logstash镜像(注意与ES版本保持一致) docker pull logstash:7.5.1 2.启动容器 docker run --name logstash -d -p 5044:5044 --net esnet 8b94897b4254 命令中的--net设置的网络要和ES、kibana保持一致 3.修改Logstash配置文件 该配置文件是 config 文件夹下的 logstash.yml // 0.0.0.0：允许任何IP访问 http.host: "0.0.0.0" // 配置elasticsearch集群地址 xpack.monitoring.elasticsearch.hosts: [ "http://192.168.172.131:9200","http://192.168.172.129:9200","http://192.168.172.128:9200" ] // 允许监控 xpack.monitoring.enabled: true // 启动时读取配置文件指定 path.config: /usr/share/logstash/config/logstash.conf // 指定的该文件可以配置Logstash读取一些文件导入ES 4.logstash.conf配置 # Sample Logstash configuration for

原文: Elastic Stack 7.5.0白金版永不过期 适用版本：7.4.0~7.5.0 警告：本文章仅限于学习，非商业用途。 目录结构 # 先创建相关目录，具体结构如下： /opt |-- bulid # 编译目录 | |- src |-- install # 存放tar.gz安装包文件 |-- src # 存放源码文件 mkdir -p /opt/build/src mkdir -p /opt/install mkdir -p /opt/src 下载安装包 cd /opt/install wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.5.0-linux-x86_64.tar.gz tar zxvf elasticsearch-7.5.0-linux-x86_64.tar.gz cd .. # 返回到/opt目录 下载源码 cd /opt/src # 官方github地址：https://github.com/elastic/elasticsearch # 国内码云地址：https://gitee.com/mirrors/elasticsearch # 建议使用国内码云地址，选择好跟安装包同版本的tags，然后clone源码 git clone https://gitee

ELK简介： ELK Stack：ELK是Elasticsearch、Logstash、Kibana的缩写简称，这三者都是开源软件。ELK是5.0版本前的统称；这是一套统一的日志收集分析系统。它能够方便的为我们收集你想要的日志并且展示出来。 Elastic Stack：是ELK5.0之后加入了Beats 套件后的新称呼。是软件集合Elasticsearch、Logstash、Kibana的简称。新增的一个FileBeat，它是一个轻量级的日志收集处理工具(Agent)，Filebeat占用资源少，适合于在各个服务器上搜集日志后传输给Logstash，官方也推荐此工具。 1. Elasticsearch -->存储数据 ， 来源： https://www.cnblogs.com/liuhaidon/p/12299451.html