Elastic Stack

在我之前的文章 “ 反向代理及负载均衡在 Elasticsearch 中的应用 ” 中，我已经详述了如何使用 Nginx 来作为一个反向代理来访问 Elastic Stack。在今天的文章中，我将详述如何使用 Nginx 来保护 Elastic Stack。基于 Elastic Stack Basic 许可以上，我们都可以使用 Elastic Stack 所提供的安全方案来对 Elastic Stack 进行保护。针对 OSS 的用户来说，我们可以使用 Nginx 所提供的安全措施来对我们的 Elastic Stack 进行保护。在本文中，我想解释一下如何实现保护 Elastic Stack 的一种更常见，更简单的方法-在 Elasticsearch 和 Kibana 的前面部署 nginx 作为反向代理。 在今天的实验中，我将使用一个 Ubuntu 20.04 的机器来做演示。 安装 Elastic Stack 针对我们的实验，我们需要安装 Elasticsearch 已经 Kibana。请参阅我之前的文章 “ Elastic：菜鸟上手指南 ” 进行安装。我都使用默认的配置。等 Elasticsearch 以及 Kibana 都起来之后，我们可以看到如下的画面： Elasticsearch 运用于 localhost:9200 上，而 Kibana 运行于 localhost

“ OSC 源创会·年终盛典 ” 时间： 2018-12-16 09:00 -17:30 地点： 深圳 · 科兴科学园会议中心 费用： 50 元/人（现场缴费，女士，开源软件作者，积分 50 以上者均免费，邀请满三个好友报名者免费，学生凭学生证免费） 报名地址： 扫描以下二维码，即可报名 “ 会议 日程 ” 周日 2018 源创会·年终盛典 12.16 2018 09:30-12:00 年终盛典 · 主会场 上午 13:30-17:30 前端 · 分会场 下午 13:30-17:30 移动开发 · 分会场 下午 13:30-17:30 容器与微服务 · 分会场 下午 13:30-17:30 开源综合技术 · 分会场 下午 13:30-17:30 技术管理与开发效能 · 分会场 下午 部分主题 开源技术黄昏，开源人生黎明 马越 | 开源中国 CEO 重新认识现代Java 杨晓峰 | 京东 大数据中心架构师、OpenJDK Committer 企业级项目的Web自动化测试工程化实践 何林江 | 腾讯 高级前端工程师 基于场景化提效的企业中后台开发实践 郑淳（鬼鼠）| 阿里巴巴 高级前端工程师 基于Taro的多端项目实践 陈嘉健 | 京东 高级工程师 阿里巴巴企业级中后台UI解决方案 —— Fusion 开源首发 钱陈（潕量） | 阿里国际 前端技术专家 基于 Flutter

性能高1倍，价格低3/4！数据库实时同步新选择！ 实时分析决策的第一步就需要将数据实时同步到大数据计算引擎，DataWorks数据集成采用自研高性能引擎，在相同的机器规格情况下，RDS实时同步性能最高为其他数据同步方案的2倍，而价格可低至其1/4。通过DataWorks数据集成，企业可以进行高效、低成本、稳定的实时数据同步。 DataWorks数据集成可以追溯到2011年的DataX1.0和2.0版本，随后3.0版本正式对外提供服务，再后来公有云、专有云、阿里内部功能三版合一，建立了Data Integration 服务。在2019年，DataWorks数据集成完成了商业化，独享资源组上线，按量付费、包年包月的付费方式也成功面向了用户。在2020年，全增量实时同步解决方案正式发布。 在全增量实时同步解决方案系统中，可以从MySql、Oracle、IBM DB2、SQL server、POLARDB等关系型数据库中全量离线同步到MaxCompute、Hologres、Elasticsearch、Kafka、DataHub等大数据产品中，再实现实时抽取关系型数据库的变更信息，同步到大数据产品中。像MaxCompute这种离线数仓，可以通过同步到Log表、拆分至Delta表、Merge到Base表，最后再写入MaxCompute这样的方式做实时增量同步。

受疫情与国际形势的严峻考验，2020年对于中国IT行业来说注定是不平凡的一年。时势造英雄，那些在逆境中砥砺前行、开拓创新的技术英才和精英团队，让我们一起向他们致以诚挚的感谢与敬意。 在此，“dbaplus社群2020年度MVP”隆重揭晓！ 我们基于这一年来各方专家和团队的贡献，经过客观数据统计、专家评审团评选、大众票选的三轮评定， 恭喜以下专家和团队成为“2020年度MVP”！ 2 020 MVP - 原创专家奖 2020年度MVP之原创专家奖，献给笔耕不辍撰写干货好文、孜孜不倦分享知识经验的他们： 贺春旸 凡普金科和爱钱进认真商城DBA团队负责人 专家简介： 凡普金科和爱钱进认真商城DBA团队负责人，《MySQL管理之道：性能调优、高可用与监控》第一、二版作者，曾任职于中国移动飞信、安卓机锋网。三次荣获dbaplus社群年度MVP，致力于MariaDB、MongoDB等开源技术的研究，主要负责数据库性能调优、监控和架构设计。 获奖感言： 谁说这个世界是冰冷而残酷的，只要你胸怀坚定的信仰，保持高昂的斗志，这个世界说不定就会向你露出灿烂的微笑。 技术贡献： 为社群提供四款自研开源工具并开放下载使用：MySQL Monitor、OS_Monitor、MongoDB ReplSet Monitor、MongoDB Slowquery； 通过多篇文章撰写及Newsletter信息提供

1、前言 　　APM，又称应用性能统计，主要用来跟踪请求调用链，每个环节调用耗时，为我们诊断系统性能、定位系统问题提供了极大便利。本系统采用的是Elastic Stack体系中的APM，主要是之前部门搞PCI认证，其中有一环ELK，而刚好ELK就是我搭建的，这里就顺便使用ELK体系的APM，没必要再另起一套了。 2、实现 　　首先，你需要搭建好ELK平台，这里搭建过程不做赘述，大家参考Elastic Stack官网，简单明了。 　　然后，安装Elastic APM Server，就是一个Linux RPM包，一行Linux命令的事情，也不做赘述。这里交代下APMServer的几个关键配置，以centos7为例。在/etc/apm-server目录下，有个apm-server.yml配置文件，修改其中如下几处： apm-server访问地址，改成你自己服务器IP和端口： APM Agent访问token凭证，这是个静态口令，你可以随意调整： SSL启用，代表各agent需要以https方式来链接apm-server，换成你自己的证书和key： 到ES存储的链接，同样需要调整成你自己的： 　　其中各项配置的参数，配置文件中已经注释的比较清楚了，大概看下其描述我们就知道该怎么配。 　　 　　Apm-server配置好之后，接下来就是我们应用中引入和配置agent了。首选

作者介绍 李猛，Elastic Stack 深度用户，通过 Elastic 工程师认证，2012年接触 Elasticsearch，对 Elastic Stack 技术栈开发、架构、运维等方面有深入体验，实践过多种大中型项目；为企业提供 Elastic Stack 咨询培训以及调优实施；多年实战经验，爱捣腾各种技术产品，擅长大数据，机器学习，系统架构。 序言 首先解释下 即时、实时与离线 概念定义，最近碰到很多的认知误区，需要纠正下。 即时概念 当数据变更之后马上就可以查询变更，内部采用事务隔离机制，查询的数据必须阻塞直到数据更新完毕，如单实例关系数据库数据发生变更后，然后马上可查询到。 实时概念 在数据同步场景中，包括异构数据源和同构数据源之间，泛指在可接受的很快时间范围内同步完成，一般的认知是秒级左右，也可以毫秒或者微秒，依据业务需求与实现 来源： oschina 链接： https://my.oschina.net/u/4335275/blog/4300302

1、今年xing 式不好，不要裸辞！！ 要做好万全准备再提离职，拿到 offer 再离职也无可厚非！！ 已经有很多球友 后悔 上半年裸辞了。 裸辞一时爽，事后悔断肠 。 2、可以适度包装一下简历，但绝对不能造假！ 3、结合心仪公司心仪岗位灵活改简历，不要一套模板用到底。 去掉口语化、精简、凝炼简历； 千万不要有错别字、白字、语法错误； word 文档排版要主次分明，清晰明了。 电话等个人信息填错，项目经历中语句不通顺、错字、别字，标点符号、排版等乱七八糟的简历等都非常常见。 4、深度复盘开发过的产品或者做过的项目。 产品开发/ 项目经历要考虑尽量丰富，关键要点详实； 突出项目优势、亮点、你参与的工作和贡献； 如果有大数据规模开发、运维、架构、选型经验等都算加分项。 面试官问你 之前的工作 ，主要考察什么？ 你的项目经历或产品开发经验。 有相关项目经验，在新公司能较快的开展工作。 面试官关注是你的 产出结果 ，而非过程。 你在项目中扮演的角色？ 架构设计、方案选型、产品设计、需求对接、详细/概要设计、开发、运维、维护等。 参与过架构设计和仅 CRUD 的工程师是不一样的。 你遇到过什么问题，怎么解决的？ 主要考察分析问题、解决问题的能力。 线下求助别人、线上网络搜索或者求助（google、stackoverflow、disscuss.elastic.co）、日志分析、源码分析等。

少点代码，多点头发 本文已经收录至我的GitHub,欢迎大家踊跃star 和 issues。 https://github.com/midou-tech/articles 从今天开始准备给大家带来全新的一系列文章，Elasticsearch系列 新系列肯定会有很多疑惑，先为大家答疑解惑，下面是今天要讲的问题 为什么写Elasticsearch系列文章？ 之前在文章中也陆陆续续的提到过，龙叔是做搜索引擎的。搜索引擎技术属于商业技术，大家耳熟能详的百度搜索，Google搜索，这可都是因为把握核心搜索技术，从而诞生了商业帝国。 每个互联网大厂都想去分一杯搜索的羹，360搜索、神马、头条、搜狗搜索等等，由此可见搜索技术的商业作用和机密性了。 搜索把握用户的入口 蘑菇街的搜索引擎是一款使用C++开发、完全自研、没有开源的搜索引擎，没有开源就是不能随便写出来的。 但是现在不一样了 第一、我离职了，离开了意味着不在持有那些商业机密了，就算不讲出来我也没啥心理负担(但还是不能讲的，离职协议写的很清楚，不能 泄露公司商业机密 )。 第二、去新的公司还是在搜索领域，他们用Es Elasticsearch是一个开源搜索，开源的东西可以随便说，但还是不能说公司的 商业数据 。 自己一直在搜索领域做，输出搜索相关的文章，第一个可以让自己更好的学习和总结，第二个可以让粉丝们了解到搜索这个神秘的技术

单节点 xpack 配置 修改 ES 配置文件，开启 Security 默认文件： ./config/elasticsearch.yml xpack.security.enabled: true xpack.security.transport.ssl.enabled: true 配置修改完之后重启 ES。 设置内置用户密码 ./bin/elasticsearch-setup-passwords interactive 修改 Kibana 配置文件，访问 ES 默认文件： $KIBANA_HOME/config/kibana.yml elasticsearch.username: "elastic" elasticsearch.password: "elastic" xpack.security.enabled: true xpack.security.encryptionKey: "4297f44b13955235245b2497399d7a93" 重启 Kibana，重新登录。 ES 集群 xpack 配置 官方文档： https://www.elastic.co/guide/en/elasticsearch/reference/master/configuring-tls.html 为 ES 集群创建节点认证中心 ./bin/elasticsearch-certutil ca

在之前我的文章 “ Elastic：使用Postman来访问Elastic Stack ” 中我介绍了如何在应用中访问 Elasticsearch。在那里，我们使用了最基本的 Basic authentication 的方法来访问 Elasticsearch。这种方法不好的地方就是每个用户所有的请求的验证都是一样的：使用的是同样的一个用户名及密码的 Base64 编码。在今天的文章中，我们将介绍如何创建 API key 来提供对 Elasticsearch 的访问。通过这个方法，一个用户可以动态生成无数个 API Key 的访问。 官方文档，可以在 链接 找到。 接口 它的接口非常简单： POST /_security/api_key PUT /_security/api_key API Key 由 Elasticsearch API key 服务创建，当您在 HTTP 接口上配置TLS时，该服务会自动启用。 请参阅加密 HTTP客户端通信 。 或者，你可以显式启用 xpack.security.authc.api_key.enabled 设置。 在生产模式下运行时，引导检查会阻止您启用 API key 服务，除非你还在 HTTP 接口上启用了TLS。 成功创建 API key API 调用将返回一个JSON结构，其中包含API 密钥，其唯一 ID 和名称。 如果适用