ElasticSearch

1、消息如何保证100%的投递？ 2、幂等性概念 3、Confirm确认消息 4、Return返回消息 5、自定义消费者 消息 100% 的投递 消息如何保障 100%的投递成功？ 什么是生产端的可靠性投递？ u 保障消息的成功发出 u 保障MQ节点的成功接收 u 发送端收到MQ节点（Broker）确认应答 u 完善的消息进行补偿机制 BAT/TMD互联网大厂的解决方案： u 消息落库，对消息状态进行打标 u 消息的延迟投递，做二次确认，回调检查 幂等性概念 幂等性是什么？ u 我们可以借鉴数据库的乐观锁机制 u 比如我们执行一条更新库存的SQL语句 u Update t_repository set count = count -1,version = version + 1 where version = 1 u Elasticsearch也是严格遵循幂等性概念，每次数据更新，version+1（博主博客前面有提到） 消费端-幂等性保障 在海量订单产生的业务高峰期，如何避免消息的重复消费问题？ 消费实现幂等性，就意味着，我们的消息永远不会消费多次，即使我们收到了多条一样的消息 业界主流的幂等性操作 唯一ID+指纹码机制，利用数据库主键去重 利用Redis的原子性去实现 唯一ID+指纹码 机制 唯一ID+指纹码机制，利用数据库主键去重 Select count(1) from T

SpringCloud系列教程 | 第十五篇：微服务利剑之APM平台（一）Skywalking Springboot: 2.1.7.RELEASE SpringCloud: Greenwich.SR2 [TOC] 1. Skywalking概述 Skywalking与2016年11月2日由国人吴晟在Github上传v1.0版本，用于提供分布式链路追踪功能，从5.x开始，成为一个功能较为完善的APM（Application Performance Management）系统，2019年4月17日从Apache孵化器毕业，正式成为Apache顶级项目。提供分布式追踪、服务网格遥测分析、度量聚合和可视化一体化解决方案。官方对自己介绍是专为微服务，云原生和基于容器（Docker，Kubernetes，Mesos）架构而设计。 2. Skywalking主要功能 服务，服务实例，端点指标分析 根本原因分析 服务拓扑图分析 服务，服务实例和端点依赖性分析 慢服务检测 性能优化 分布式跟踪和上下文传播 数据库访问指标、检测慢速数据库访问语句（包括SQL） 告警 3. Skywalking主要特性 多种监控手段，语言探针和service mesh 多语言自动探针，Java，.NET Core和Node.JS 多种后端存储支持 轻量高效 模块化，UI、存储、集群管理多种机制可选 支持告警

我看大部分教程都是在linux搭建的，那么俺就搭建在win上面吧。 首先，下载E+L+K，下面这个地址都有这3个相关的软件包 Elasticsearch+Logstash+Kibana https://www.elastic.co/downloads 1、安装Logstash，Logstash的版本为：6.3.1 解压后，进入bin文件夹下，新建配置文件logstash.conf，让后输入下面内容 input { kafka{ bootstrap_servers => ["192.168.1.1:9092"] client_id => "test" group_id => "test" topics => ["test"] auto_offset_reset => "latest" codec => json{charset=>"UTF-8"} } } output { elasticsearch { hosts => ["192.168.1.1:9200"] codec => json{charset=>"UTF-8"} index=> "%{source}" } } stdin表示在控制台输入，也可以用其他方式输入，elasticsearch表示输出到elasticsearch，index表示json传参进来的index值映射到ES的index上面去。注意，如果传递有中文

Helm 部署EFK 这里关注一下helm elasticsearch 和kibana 的版本，必须一致 每个节点的/var/log/containers里存放着日志 [root@k8s-master efk]# pwd /root/efk [root@k8s-master elasticsearch]# kubectl create namespace efk 添加仓库 [root@k8s-master efk]# helm repo add incubator https://charts.helm.sh/incubator "incubator" has been added to your repositories 部署 Elasticsearch [root@k8s-master efk]# helm search elasticsearch NAME CHART VERSION APP VERSION DESCRIPTION incubator/elasticsearch 1.10.2 6.4.2 DEPRECATED Flexible and powerful open source, distributed... 后面的kibana 的也必须是6.4.2版本 [root@k8s-master efk]# helm search incubator/kibana -

“ 阅读本文大概需要 5 分钟。 ” 在 Python 中，一般情况下我们可能直接用自带的 logging 模块来记录日志，包括我之前的时候也是一样。在使用时我们需要配置一些 Handler、Formatter 来进行一些处理，比如把日志输出到不同的位置，或者设置一个不同的输出格式，或者设置日志分块和备份。但其实个人感觉 logging 用起来其实并不是那么好用，其实主要还是配置较为繁琐。 常见使用 首先看看 logging 常见的解决方案吧，我一般会配置输出到文件、控制台和 Elasticsearch。输出到控制台就仅仅是方便直接查看的；输出到文件是方便直接存储，保留所有历史记录的备份；输出到 Elasticsearch，直接将 Elasticsearch 作为存储和分析的中心，使用 Kibana 可以非常方便地分析和查看运行情况。 所以在这里我基本会对 logging 做如下的封装写法： import logging import sys from os import makedirs from os.path import dirname, exists from cmreslogging.handlers import CMRESHandler loggers = {} LOG_ENABLED = True # 是否开启日志 LOG_TO_CONSOLE = True #