ElasticSearch

前言 本文档是从阿里面试官整理的Java面试题；包含了Java基础、Java集合容器、Java异常、并发编程、JVM、Spring、Spring MVC、Spring Boot、Spring Cloud、MyBatis、Redis、MySQL数据库、消息中间件MQ与RabbitMQ、Dubbo、Linux、Tomcat、ZooKeeper、Netty、 架构设计&分布式&数据结构与算法等等，都是互联网大厂的面试真题，已经有粉丝靠这份PDF拿下众多大厂的offer。 每一份面试文档的左侧都有文档大纲，这也是为了方便大家阅读，特别整理的；文章限于篇幅，故这里只是部分的截图展示。 有需要答案解析的朋友可以关注公众号： 麒麟改bug 。 小编这篇分享篇幅可能有点长，观看的朋友可以先了解一下目录 JavaOOP面试题——108道 Java集合/泛型面试题——24道 Java异常面试题——8道 Java中的IO与NIO面试题——15道 Java反射面试题——10道 Java序列化面试题——10道 Java注解面试题——2道 多线程&并发面试题——108道 JVM面试题——87道 Mysql面试题——83道 Redis面试题——50道 Memcached面试题——24道 MongoDB面试题——95道 String面试题——131道 Spring Cloud面试题——35道

前言 本文档是从阿里面试官整理的Java面试题；包含了Java基础、Java集合容器、Java异常、并发编程、JVM、Spring、Spring MVC、Spring Boot、Spring Cloud、MyBatis、Redis、MySQL数据库、消息中间件MQ与RabbitMQ、Dubbo、Linux、Tomcat、ZooKeeper、Netty、 架构设计&分布式&数据结构与算法等等，都是互联网大厂的面试真题，已经有粉丝靠这份PDF拿下众多大厂的offer。 每一份面试文档的左侧都有文档大纲，这也是为了方便大家阅读，特别整理的；文章限于篇幅，故这里只是部分的截图展示。 有需要答案解析的朋友可以关注公众号： 麒麟改bug 。 小编这篇分享篇幅可能有点长，观看的朋友可以先了解一下目录 JavaOOP面试题——108道 Java集合/泛型面试题——24道 Java异常面试题——8道 Java中的IO与NIO面试题——15道 Java反射面试题——10道 Java序列化面试题——10道 Java注解面试题——2道 多线程&并发面试题——108道 JVM面试题——87道 Mysql面试题——83道 Redis面试题——50道 Memcached面试题——24道 MongoDB面试题——95道 String面试题——131道 Spring Cloud面试题——35道

ELKF搭建及使用全过程（7.8版本） 前言 ELKF框架 ELKF成员介绍 运行流程 --------------------------------------------------------------------------------------- FileBeat搭建 LogStash搭建 Elasticsearch搭建 Kibana搭建 测试 前言 讲真的现在互联网的技术更新换代实在是太快，ELK还没出几天，就又出了ELKF。好不容易找到几个6.x的版本教程，然而7.x的版本配置又和6.x天差地别。所以最好的办法真的是去 看官方文档 ！ 本文仅适用于以7.8版本！ ELKF框架 先说一下个人对ELKF的理解，只是看搭建和使用的可以跳过这个环节。 ELKF成员介绍 E:简称是Es（elasticsearch），搜索引擎，至于为什么要用ES。第一、他能存数据，第二、对于日志这些大量的数据，搜索引擎能快速定位到记录。要详细了解ES的话，网上一搜大把资料，也可以看看我历史博文讲ES原理的。 L:全称是LogStash，用于收集日志以及处理日志后丢给ES存储和检索。 K:全称是Kibana，可以理解成数据展示系统即可（因为我现在还没好好研究这玩意。。） F:全称是FileBeat，对ELK中LogStash的中收集日志功能优化后的结果输出，LogStash直接来收集日志的话

前言 只有光头才能变强。 文本已收录至我的GitHub精选文章，欢迎Star ： https://github.com/ZhongFuCheng3y/3y 不知道大家的公司用Elasticsearch多不多，反正我公司的是有在用的。平时听同事们聊天肯定避免不了不认识的技术栈，例如说：把数据放在引擎，从引擎取出数据等等。 如果对引擎不了解的同学，就压根听不懂他们在说什么（我就是听不懂的一位，扎心了）。引擎一般指的是搜索引擎，现在用得比较多的就是Elasticsearch。 这篇文章主要是对Elasticsearch一个简单的入门，没有高深的知识和使用。至少我想做到的是：以后同事们聊引擎了，至少知道他们在讲什么。 什么是Elasticsearch？ Elasticsearch is a real-time, distributed storage, search, and analytics engine Elasticsearch 是一个 实时 的 分布式存储、搜索、分析 的引擎。 介绍那儿有几个关键字： 实时 分布式 搜索 分析 于是我们就得知道Elasticsearch是怎么做到实时的，Elasticsearch的架构是怎么样的（分布式）。存储、搜索和分析（得知道Elasticsearch是怎么存储、搜索和分析的） 这些问题在这篇文章中都会有提及。

去年双十一，为了应对零点的峰值流量冲击，我们在八月下旬启动了全链路压测第一次实践。由于从零开始，因此单独搭建了一套和生产1:1的环境，2个月的时间，光环境成本就高达几百万。 经过双十一，压测团队从中汲取了不少的经验和教训。双十一之后，在CTO的指导下和支持下，由基架和性能测试团队快速的投入了全链路压测平台的研发当中。 并且趁着核心系统重构，快速的接入落地，对后续的系统稳定性保障工作，迈出了坚定地一步。 流程导图 梳理阶段 1、系统服务梳理 全链路压测是一个很复杂的工程，其中涉及到多个服务。对整个业务系统进行梳理，确认流量传递的上下游和范围，是首先要做的事情。 2、核心链路梳理 什么是核心链路？现在来看，依然是一个艰难的选择。压测团队在梳理核心链路时，主要从如下几方面来评估： 1）是否是高频访问业务； 2）是否是强依赖的核心环节； 3）是否直接影响生产的交易业务； 4）参考生产实际的QPS指标为维度； 3、外部依赖梳理 确定核心链路后，要对其外部依赖进行进行梳理（比如第三方支付）。由于全链路压测在生产环境进行，因此需要对外部依赖进行mock处理，避免对生产服务造成影响。 4、中间件梳理 为了避免压测流量对生产造成影响，产生脏数据，需要对整个流量传递过程中涉及的中间件进行梳理，让压测流量透传落影子库。 压测流量模拟在请求网关接口时候在header中带上:x-infr-flowtype

大概阅读10分钟 本教程是系列教程，对于初学者可以对 ES 有一个整体认识和实践实战。 还没开始的同学，建议先读一下系列攻略目录： Springboot2.x整合ElasticSearch7.x实战目录 本篇幅是继上一篇 Springboot2.x整合ElasticSearch7.x实战（二） ，适合初学 Elasticsearch 的小白，可以跟着整个教程做一个练习。 [toc] 第五章 Mapping详解 Mapping 是整个 ES 搜索引擎中最重要的一部分之一，学会构建一个好的索引，可以让我们的搜索引擎更高效，更节省资源。 什么是 Mapping? Mapping 是Elasticsearch 中一种术语， Mapping 类似于数据库中的表结构定义 schema，它有以下几个作用： 1. 定义索引中的字段的名称 2. 定义字段的数据类型，比如字符串、数字、布尔 3. 字段，倒排索引的相关配置，比如设置某个字段为不被索引、记录 position(位置) 等 在 ES 早期版本，一个索引下是可以有多个 Type ，从 7.0 开始，一个索引只有一个 Type，也可以说一个 Type 有一个 Mapping 定义。 了解了什么是 Mapping 后，接下来对 Mapping 的设置坐下介绍： Maping设置 dynamic (动态Mapping) 官网参考： https:/

原文: Elasticsearch入门教程(一)：Elasticsearch及插件安装 版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接： https://blog.csdn.net/vbirdbest/article/details/79194244 分享一个朋友的 人工智能教程(请以“右键”->"在新标签页中打开连接”的方式访问) 。比较通俗易懂，风趣幽默，感兴趣的朋友可以去看看。 一：安装Elasticsearch 下载并解压Elasticsearch 直接到官网( https://www.elastic.co/cn/downloads/elasticsearch )下载适合自己的系统的Elasticsearch,这里下载的是目前最新的版本6.1.1，然后解压放到合适的目录即可，这里放在/usr/local下面. elasiticsearch目录 bin 运行Elasticsearch实例和管理插件的一些脚本 config 配置文件， elasticsearch.yml data 在节点上每个索引/碎片的数据文件的位置 lib Elasticsearch自身使用的.jar文件 logs 日志文件 modules plugins 已安装的插件的存放位置 启动Elasticsearch

<---------------------摘自老男孩博客-------------------> 操作系统：Centos,Ubuntu,Redhat,suse,Freebsd 网站服务：nginx,apache,lighttpd,php,tomcat,resin 数据 库：MySQL,MariaDB,PostgreSQL DB中间件：maxscale ,MyCat ,atlas,cobar,amoeba,MySQL-proxy 代理相关：lvs,keepalived,haproxy,nginx,heartbeat 网站缓存：squid,nginx,varnish NOSQL库：Redis,Memcached,MongoDB,HBase,Cassandra,CouchDB 存储相关：Nfs,FastDFS,Moosefs(mfs),Hadoop,glusterfs,lustre 版本管理：svn,git 监控报警：nagios,cacti,zabbix,munin,hyperic,mrtg,graphite 域名解析：bind,powerdns,dnsmasq 同步软件：scp,rsync,inotify,sersync,drbd 批量管理：SSH,Ansible,Saltstack,expect,puppet 虚拟 化：kvm,xen 云计 算：openstack,docker

参考资料： 1 、 Logstash中文官网 2、 阿里云Elasticsearch> 最佳实践 > logstash部署 3、 logstash、elasticsearch、kibana搭建日志平台 （CSDN） 4、 ELK(ElasticSearch, Logstash, Kibana)搭建实时日志分析平台 （CSDN） 4、 elasticsearch5.x安装中一些问题的解决办法 5、 centos7虚拟机安装elasticsearch5.0.x-安装篇 一 ELK平台简介 开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。 官方网站： https://www.elastic.co/products Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤，并将其存储供以后使用（如，搜索）。 Kibana 也是一个开源和免费的工具，它Kibana可以为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志 二、

data-generator 是一个Java实现的数据生成器开源项目。 如果你在从事大数据BI的工作，想对比一下MySQL、GreenPlum、Elasticsearch、Hive、Presto、Impala、Drill、HAWQ、Druid、Pinot、Kylin、ClickHouse等不同实现方案之间的表现，那你就需要一份标准的数据进行测试，这个开源项目就是为了生成这样的标准数据。 数据模型：src/main/resources/数据模型.png 一、编译程序: mvn assembly:assembly 二、在MySQL中创建一个数据库，然后执行 src/main/resources/model_ddl.sql 创建对应的表。 三、指定ES的经纬度类型: curl -H "Content-Type: application/json" -XPUT 'http://192.168.252.193:9200/contract/contract/_bulk' -d ' { "index":{ "_id": 1} } {"id":1} ' curl -H "Content-Type: application/json" -XPUT 'http://192.168.252.193:9200/contract/_mapping/contract' -d ' { "properties":