ElasticSearch

欢迎访问我的GitHub https://github.com/zq2599/blog_demos 内容：所有原创文章分类汇总及配套源码，涉及Java、Docker、Kubernetes、DevOPS等； 在 《Flink SQL Client初探》 一文中，我们体验了Flink SQL Client的基本功能，今天来通过实战更深入学习和体验Flink SQL； 实战内容 本次实战主要是通过Flink SQL Client消费kafka的实时消息，再用各种SQL操作对数据进行查询统计，内容汇总如下： DDL创建Kafka表 窗口统计； 数据写入ElasticSearch 联表操作 版本信息 Flink：1.10.0 Flink所在操作系统：CentOS Linux release 7.7.1908 JDK：1.8.0_211 Kafka：2.4.0（scala：2.12） Mysql：5.7.29 数据源准备 本次实战用的数据，来源是阿里云天池公开数据集的一份淘宝用户行为数据集，获取方式请参考 《准备数据集用于flink学习》 获取到数据集文件后转成kafka消息发出，这样我们使用Flink SQL时就按照实时消费kafka消息的方式来操作，具体的操作方式请参考 《将CSV的数据发送到kafka》 上述操作完成后，一百零四万条淘宝用户行为数据就会通过kafka消息顺序发出

1、前言 　　APM，又称应用性能统计，主要用来跟踪请求调用链，每个环节调用耗时，为我们诊断系统性能、定位系统问题提供了极大便利。本系统采用的是Elastic Stack体系中的APM，主要是之前部门搞PCI认证，其中有一环ELK，而刚好ELK就是我搭建的，这里就顺便使用ELK体系的APM，没必要再另起一套了。 2、实现 　　首先，你需要搭建好ELK平台，这里搭建过程不做赘述，大家参考Elastic Stack官网，简单明了。 　　然后，安装Elastic APM Server，就是一个Linux RPM包，一行Linux命令的事情，也不做赘述。这里交代下APMServer的几个关键配置，以centos7为例。在/etc/apm-server目录下，有个apm-server.yml配置文件，修改其中如下几处： apm-server访问地址，改成你自己服务器IP和端口： APM Agent访问token凭证，这是个静态口令，你可以随意调整： SSL启用，代表各agent需要以https方式来链接apm-server，换成你自己的证书和key： 到ES存储的链接，同样需要调整成你自己的： 　　其中各项配置的参数，配置文件中已经注释的比较清楚了，大概看下其描述我们就知道该怎么配。 　　 　　Apm-server配置好之后，接下来就是我们应用中引入和配置agent了。首选

在饿了么工作的总结，从离开饿了么开始就准备写，一直拖到现在。 不太习惯记录，基本也就从2015年开始，才断断续续记点东西。回过头来看，这一年多偶尔写的一些东西，记录是在做最小化的积累，是岁月的一种沉淀，再次阅读这些文字的时候，能够或多或少的想起当时的某些片段。 在饿了么的工作生活是充实的，如果时间可以往回，或许应该在那多停留一会。 在饿了么的工作，分两大块，测试管理和测试生态搭建。 加入饿了么，是在一个全新的团队，全新的产品：有菜，一个打通供应商和餐厅的购物平台。测试团队，更是从零开始组建。过去负责团队的建设和管理，以及测试基础设施的搭建。把在外企看到学到的那一套流程，快速在这边落实展开。整个测试团队也向正规军慢慢靠近。 测试生态建设上，从零开始搭建测试组工具链： 基于jenkins的持续集成系统 ：这是稍微有点规模的团队，必备的系统，每天有大量的发布，需要对整个产品进行全方位的回归。 功能测试框架scm-func ：这是测试组最核心的工具之一，有了框架，测试团队，就可以根据产品功能，编写自动化测试用例。然后集成到CI里。减少频繁的手工劳动。 基于ngrinder的性能测试平台 （http://www.cubrid.org/wiki_ngrinder/entry/installation-guide）：这个平台并没有发挥它应有的效果。产品迭代的速度太快

最近很多粉丝问我有没有最新的面试题？于是，我就把我见过的以及遇到过的，还有根据读者反馈的大厂面试真题，进行了汇总整理。 于是就有了这份 《Java大厂面试题合集》， 并且按照细分了41个方向。 题库非常全面 包括Java基础、Java异常、Spring、SpirngMVC、MyBatis、SpringBoot、SpringCloud、BIO、NIO、AIO、Netty、Tomcat、Redis、MySQL、Memcache、ElasticSearch、zookeeper、RabbitMQ、Vue、Dubbo、并发编程、Java虚拟机、TCP、Http、大数据、设计模式、Linux等 面试题，如何获取？ 关注我添加助理VX：MXW5308 即可免费获取 另外，我还给大家准备了5个Java实战项目 现在这个时代，没有微服务、分布式的项目经验真的有点难了，其次在项目中用到的中间接比如Redis、MQ、Nginx、solr、ElasticSearch、Docker、Dubbo、Kafka、ShardingSphere等等。 项目分别是： 青橙商城完整版 后台+前台+青橙秒杀 Java大型电商系统谷粒商城项目开发实践 淘淘商城（分布式基于SSM） 大型微服务项目十次方 【乐优商城】项目（SpringBoot、SpringCloud、Vue） 部分截图 关注我添加助理VX：MXW5308