ElasticSearch

MySQL索引 索引分类 最左前缀原则 覆盖索引 索引下推 联合索引顺序 What's Index ? 索引就是帮助RDBMS高效获取数据的数据结构。 索引可以让我们避免一行一行进行全表扫描。它的价值就是可以帮助你对数据进行快速定位。 索引分类 按照 功能逻辑 来分 普通索引 INDEX(col_name) 或者 key index_name(col_name) 没有任何约束，一张表可以有多个普通索引 唯一索引 UNIQUE INDEX index_name(col_name) 在不同索引上增加了唯一约束，允许多个ull值 主键索引 PRIMARY KEY (col_name) 主键约束=UNIQUE+NOT NULL，一张表只能有一个主键索引---该性质由主键索引的物理实现方式决定---数据在文件中只能按照一种顺序进行存储 外键索引 CONSTRAINT foreign_key_name FOREIGN KEY(col_name) REFREENCES table_name(col2_name) 全文索引 FULLTEXT INDEX index_name(col_name)...)ENGINE=MyISAM; MySQL自带的全文索引仅支持英文，一般我们使用专门的全文搜索引擎Elasticsearch或者solr。 按照 物理实现 方式来分（也是按照叶子结点的内容来分）

下载地址： 【中级班】 链接： https://pan.baidu.com/s/1FWAz2V7BPsObixlZyW93sw 提取码：mvu0 【高级班】 链接： https://pan.baidu.com/s/1eYNq74qRnc1au3gnHU62jw 提取码：qqbh 目录： 【01】：开班仪式 开班仪式：同学认识，内容综述及学习建议(3月3日 20:10-22:00) 【02】：Kubernetes 入门（上）-重新认识Docker 第1章：为什么要用容器？(3月8日 09:00-10:00) 第1章：Docker 基本使用(3月8日 10:00-12:00) 第1章：手把手教你制作镜像（Dockerfile）(3月8日 14:00-15:00) 第1章：Habor镜像仓库，企业Jenkins CI平台(3月8日 15:00-17:00) 第1章：Prometheus+Grafana 监控 Docker(3月8日 17:00-18:00) 【03】：Kubernetes 入门（下） 第2章：K8S 产生背景，核心概念(3月15日 09:00-10:00) 第3章：快速部署一个K8S集群（kubeadm）(3月15日 10:00-12:00) 第4章：kubectl命令行管理工具(3月15日 14:00-15:00) 第5章：服务编排（YAML）(3月15日 15:00

ElasticSearch 的主旨是随时可用和按需扩容。 而扩容可以通过购买性能更强大（ 垂直扩容 ，或 纵向扩容 ） 或者数量更多的服务器（ 水平扩容 ，或 横向扩容 ）来实现。 虽然 Elasticsearch 可以获益于更强大的硬件设备，但是垂直扩容是有极限的。 真正的扩容能力是来自于水平扩容—​为集群添加更多的节点，并且将负载压力和稳定性分散到这些节点中。 对于大多数的数据库而言，通常需要对应用程序进行非常大的改动，才能利用上横向扩容的新增资源。 与之相反的是，ElastiSearch天生就是 分布式的 ，它知道如何通过管理多节点来提高扩容性和可用性。 这也意味着你的应用无需关注这个问题。 本章将讲述如何按需配置集群、节点和分片，并在硬件故障时确保数据安全。 空集群 如果我们启动了一个单独的节点，里面不包含任何的数据和索引，那我们的集群看起来就是一个 Figure 1, “包含空内容节点的集群” 。 Figure 1. 包含空内容节点的集群 一个运行中的 Elasticsearch 实例称为一个节点，而集群是由一个或者多个拥有相同 cluster.name 配置的节点组成， 它们共同承担数据和负载的压力。当有节点加入集群中或者从集群中移除节点时，集群将会重新平均分布所有的数据。 当一个节点被选举成为 主 节点时， 它将负责管理集群范围内的所有变更，例如增加、删除索引

** loki配置使用** 1 1. Loki 是 Grafana Labs 团队最新的开源项目，是一个水平可扩展，高可用性，多租户的日志聚合系统。它的设计非常经济高效且易于操作，因为它不会为日志内容编制索引，而是为每个日志流配置一组标签。项目受 Prometheus 启发，官方的介绍就是：Like Prometheus, but for logs，类似于 Prometheus 的日志系统。 2. 和其他日志系统不同的是，Loki 只会对你的日志元数据标签（就像 Prometheus 的标签一样）进行索引，而不会对原始的日志数据进行全文索引。然后日志数据本身会被压缩，并以 chunks（块）的形式存储在对象存储（比如 S3 或者 GCS）甚至本地文件系统。一个小的索引和高度压缩的 chunks 可以大大简化操作和降低 Loki 的使用成本。 对比其他日志系统 EFK（Elasticsearch、Fluentd、Kibana）用于从各种来源获取、可视化和查询日志。 Elasticsearch 中的数据以非结构化 JSON 对象的形式存储在磁盘上。每个对象的键和每个键的内容都有索引。然后可以使用 JSON 对象来定义查询（称为 Query DSL）或通过 Lucene 查询语言来查询数据。 相比之下，单二进制模式下的 Loki 可以将数据存储在磁盘上，但在水平可扩展模式下

Kafka快速入门（八）——Confluent Kafka简介 一、Confluent Kafka简介 1、Confluent Kafka简介 2014年，Kafka的创始人Jay Kreps、NahaNarkhede和饶军离开LinkedIn创立Confluent公司，专注于提供基于Kafka的企业级流处理解决方案，并发布了Confluent Kafka。Confluent Kafka分为开源版和企业版，企业版收费。 2、Confluent Kafka特性 Confluent Kafka开源版特性如下： （1）Confluent Kafka Connectors：支持Kafka Connect JDBC Connector、Kafka Connect HDFS Connector、Kafka Connect Elasticsearch Connector、Kafka Connect S3 Connector。 （2）多客户端支持：支持C/C++、Python、Go、.Net、Java客户端。 （3）Confluent Schema Registry （4）Confluent Kafka REST Proxy Confluent Kafka企业版特性如下： （1）Automatic Data Balancing （2）Multi-DataCenter Replication （3

目录 前言 使用explain 分析你SQL的计划 关键字的慎用 避免判断 null 值 避免使用 or 逻辑 慎用 in 和 not in 逻辑 Inner join 、left join、right join，优先使用Inner join，如果是left join，左边表结果尽量小 exists的合理使用 慎用distinct关键字 尽量用 union all 替换 union 查询优化 GROUP BY关键字优化 查询SQL尽量不要使用select *，而是select具体字段 优化limit分页 知道查询结果为一条记录，建议使用limit 1 注意模糊查询 避免查询条件中字段计算 避免查询条件中对字段进行函数操作 避免不等值判断 对查询进行优化，应考虑在 where 及 order by 涉及的列上建立索引，尽量避免全表扫描。 where子句中考虑使用默认值代替null。 where子句 “= ” 左边注意点 不要定义无意义的查询 索引优化 在适当的时候，使用覆盖索引。 索引无关优化 索引也可能失效 组合索引使用 索引优化总结 其它注意事项 表格字段类型选择 如果插入数据过多，考虑批量插入 count(*) 和 count(1)和count(列名)区别 前言 sql语句性能达不到你的要求，执行效率让你忍无可忍，一般会时下面几种情况。 网速不给力，不稳定。 服务器内存不够