ElasticSearch

基本概念 Elasticsearch是一个实时分布式搜索和分析引擎 支持： 全文搜索 结构化搜索 分析 可以这样进行描述： 分布式的实时文件存储，每个字段都被索引并可被搜索 分布式的实时分析搜索引擎 可以扩展到上百台服务器，处理PB级结构化或非结构化数据 所有的这些功能被集成到一个服务里面，你的应用可以通过简单的RESTful API、各种语言的客户端甚至命令行与之交互。 java也有自己的客户端 与ES交互 ES节点 一个Elasticsearch实例是一个节点，一组节点组成了集群。Elasticsearch集群中的节点可以配置为3种不同的角色： 主节点： 控制Elasticsearch集群，负责集群中的操作，比如创建/删除一个索引，跟踪集群中的节点，分配分片到节点。主节点处理集群的状态并广播到其他节点，并接收其他节点的确认响应。 每个节点都可以通过设定配置文件elasticsearch.yml中的node.master属性为true(默认)成为主节点。 对于大型的生产集群来说，推荐使用一个专门的主节点来控制集群，该节点将不处理任何用户请求。 数据节点： 持有数据和倒排索引。默认情况下，每个节点都可以通过设定配置文件elasticsearch.yml中的node.data属性为true(默认)成为数据节点。如果我们要使用一个专门的主节点，应将其node

性能高1倍，价格低3/4！数据库实时同步新选择！ 实时分析决策的第一步就需要将数据实时同步到大数据计算引擎，DataWorks数据集成采用自研高性能引擎，在相同的机器规格情况下，RDS实时同步性能最高为其他数据同步方案的2倍，而价格可低至其1/4。通过DataWorks数据集成，企业可以进行高效、低成本、稳定的实时数据同步。 DataWorks数据集成可以追溯到2011年的DataX1.0和2.0版本，随后3.0版本正式对外提供服务，再后来公有云、专有云、阿里内部功能三版合一，建立了Data Integration 服务。在2019年，DataWorks数据集成完成了商业化，独享资源组上线，按量付费、包年包月的付费方式也成功面向了用户。在2020年，全增量实时同步解决方案正式发布。 在全增量实时同步解决方案系统中，可以从MySql、Oracle、IBM DB2、SQL server、POLARDB等关系型数据库中全量离线同步到MaxCompute、Hologres、Elasticsearch、Kafka、DataHub等大数据产品中，再实现实时抽取关系型数据库的变更信息，同步到大数据产品中。像MaxCompute这种离线数仓，可以通过同步到Log表、拆分至Delta表、Merge到Base表，最后再写入MaxCompute这样的方式做实时增量同步。

7月，Flink 1.11 新版发布，在生态及易用性上有大幅提升，其中Table & SQL 开始支持 Change Data Capture（CDC）。CDC 被广泛使用在复制数据、更新缓存、微服务间同步数据、审计日志等场景，本文由社区曾庆东同学分享，主要介绍 Flink SQL CDC 在生产环境的落地实践以及总结的实战经验，文章分为以下几部分： 一、项目背景 二、解决方案 三、项目运行环境与现状 四、具体实现 五、踩过的坑和学到的经验 六、总结 Tips：点击下方链接可查看相关视频～ https://flink-learning.org.cn/developers/flink-training-course3/ 一、项目背景 本人目前参与的项目属于公司里面数据密集、计算密集的一个重要项目，需要提供高效且准确的 OLAP 服务，提供灵活且实时的报表。业务数据存储在 MySQL 中，通过主从复制同步到报表库。作为集团级公司，数据增长多而且快，出现了多个千万级、亿级的大表。为了实现各个维度的各种复杂的报表业务，有些千万级大表仍然需要进行 Join，计算规模非常惊人，经常不能及时响应请求。 随着数据量的日益增长和实时分析的需求越来越大，急需对系统进行流式计算、实时化改造。正是在这个背景下，开始了我们与 Flink SQL CDC 的故事。 二、解决方案 针对平台现在存在的问题

一 环境 VMware® Workstation 15 Pro centos7 (1810) docker19.03.1 二 进入centos7启动dcoker systemctl start docker 三 打开docker官方仓库，搜索elasticsearch以查看需要下载的版本，拉取镜像的时候，官方推荐要指定版本号，目前最新7.3.0 https://hub.docker.com 搜索elasticsearch后，点击tags查看版本更新列表，目前我下载7.3.0的，格式 ：镜像名称:tag 二 拉取elasticsearch镜像，目前官方最新版本7.3.0 由于墙的原因，下载比较慢，需要修改docker的镜像为阿里云的镜像仓库，详情请搜索 拉取镜像的时候，官方推荐要指定版本号，如果没有指定，默认是： 镜像名:latest 下载最新版本，这是不推荐的方式，要避免这样使用 以下开始从阿里云拉取镜像 docker pull docker.elastic.co/elasticsearch/elasticsearch: 7.3 . 0 三 使用镜像创建容器，启动elasticsearch服务 分两种方式，开发者模式和生产模式，开发者不需要配置太多，直接一行命令搞定，生产模式需要更多的配置 1.开发者模式 1.1创建网络 如果需要安装kibana等其他，需要创建一个网络，名字任意取

具体参考之前的博文 ES 优点： 应用场景： 中文分词器： 扩展本地词库 或者文件配置： 配置远程词库： 考虑放到web 容器里面 需要在 ik 插件配置文件中配置 ElasticSearch-Head 是集群操作和管理工具 需要 nodejs环境安装 眼熟 用过 ES 提供了各种 Rest-api CURL 工具 来源： oschina 链接： https://my.oschina.net/u/3847203/blog/2997053

前言 ElasticSearch是很多程序员都接触到的搜索引擎，在没有它之前大家通常用的是Lucene。 而Elasticsearch是一个基于Lucene搜索引擎为核心构建的开源，分布式，RESTful搜索服务器。 （RESTful就是我们常用的postman调用规范，XML,JSON定义.） 那么今天我将开始讲解一下我使用ElasticSearch应用方面的一些经验吧。 背景 随着公司仓储商品信息量的增加，数据的堆积，普通单库单表数据存储已经得不到满足，尤其是在 第一次加载的时候。其实在这之前我有想过做分表分库。但是目前这个系统是内部客服用来查询商品信息 的简单检索。我对于ES的了解，在简单检索的情况下ES的文档模式远远快于传统关系型数据库的表单模 式。 选好技术之后就开始做下规划，工欲善其事必先利其器。首先必须要搭建好环境。 准备 首先我们要先了解清楚我们需要什么： 1.JDK（因为这个是基于java的） 2.ES服务端 3.KIBANA（我的理解可以把他当作客户端查询器） 4.PostMan 1.JDK安装 这个很简单，就是下载完毕后下一步下一步。但是要注意的是：JDK的版本和ES版本需要对应。 我用的是*elasticsearch-7.6.2 * * jdk1.8.0* 你们可以参照我的版本匹配。 安装完毕后的JDK需要配置环境变量，右键我的电脑---属性---高级--

基于SpringCloud的IPFS私有云,主要解决文件存储分发问题,不考虑挖矿,支持内网部署和多区域集群部署,(北京、上海、广州、香港、北美、欧洲)组网 支持全内网隔离部署 内网快速搭建私有文件存储服务，能快速部署、快速访问、无限扩容、自动分发、自动备份，支持内网部署和多跨区域组网部署 主要应用场景 文件上传同步 本地启动ipfs-client后，调用它的接口上传文件(本地上传文件不占用外网)，其它外网节点可(ipfs cat Qm...)获取文件内容(p2p,速度更快) 接口数据校验 上传的文件生成的cid是通过内容签名生成的，不同系统可通过cid校验数据是否被修改，因为在本地生成cid，不会被劫持，第三方拿到cid后再获取文件内容 CDN文件分发 多区域启用网关，各子区域上传的文件，会自动同步其它区域，暴露一个区域的下载地址，即可获取文件 模块简单介绍 ipfs-client 分布式客户端，单独启动，自动组网，内网启动一台即可快速调用ipfs相关的API接口，快速进行文件上传下载, 文件上传后会自动分发到ipfs机器，上传接口会返回文件的cid，同时在client端保存一份'文件名'+'.ipfs'的文件，里面的内容是该文件的全网唯一CID编码，通过该编码可以 在任意集群的节点进行文件下载、查看等操作 ipfs-gateway 网关，需要多区域组网的可启动

SkyWalking+SkyApm-dotnet分布式链路追踪系统 对于普通系统或者服务来说，一般通过打日志来进行埋点，然后再通过elk或splunk进行定位及分析问题，更有甚者直接远程服务器，直接操作查看日志，那么，随着业务越来越复杂，企业应用也进入了分布式服务化的阶段，传统的日志监控等方式无法很好达到跟踪调用、排查问题等需求，可以想象，如果你的服务节点达到有很多很多（两位数以上吧），而没有一个自动跟踪系统，那查找一个问题将成为噩梦。 那么，服务之间调用的问题是： 如何快速发现问题？ 如何判断故障影响范围？ 如何梳理服务依赖以及依赖的合理性？ 如何分析链路性能问题以及实时容量规划？ 如何在分布式服务进行日志监控呢？ 首先大家会想到分布式链路追踪系统，说到这，就得讲 OpenTracing 规范，OpenTracing 是一个轻量级的标准化层，它位于应用程序/类库和追踪或日志分析程序之间。详细介绍见 《 opentracing文档中文版 》。在谷歌论文《 Dapper, 大规模分布式系统的跟踪系统 》的指导下，许多优秀的APM应运而生，分布式追踪系统发展很快，种类繁多，给我们带来很大的方便。虽然目前市面许多优秀的APM系统，但是作为我们.NET程序员的选择却就少之又少了（甚至没得选），几乎各大分布式追踪系统均提供java版的支持，而.NET上却只有SkyWalking的