ElasticSearch

上一篇mysql面试的文章之后收到不少朋友的意见，希望深入讲讲复制、日志的格式这些，今天，我们就来深挖一下mysql的复制机制到底有哪一些，以及binlog和relay-log的结构到底是什么样子的。 binlog作用 binlog的主要作用是记录数据库中表的更改，它只记录改变数据的sql，不改变数据的sql不会写入，比如select语句一般不会被记录，因为他们不会对数据产生任何改动。 用一个实际的场景看下binlog产生的过程，准备sql： create table test(text varchar(20)); insert into test values ('test_text'); select * from test; flush logs; 查看binlog show binlog events in 'binlog.000029'; 显示的结果如下： binlog 另外，也可以使用mysqlbinlog工具来查看binlog的内容： show variables like 'log_%'; #查看日志目录 mysqlbinlog --short-form --force-if-open --base64-output=never /usr/local/var/mysql/binlog.000029 从日志我们可以看到执行了创建表的语句以及一个Format

主题 ： 「3306π」南京站活动专访 杨奇龙《有赞数据库服务设计与实践》 大纲 ： 1、杨老师，一直持续在各个技术方面，为大家输出精彩文章，请问您是如何在工作之余进行的技术总结呢？您的学习方法可否分享给大家？ 2、各个企业都在引用开源或者自研数据库服务或平台来进行工作提效，请问杨老师如何量化数据库服务带来的成果呢？ 3、请问杨老师，有赞数据库服务的开发团队非常高效，但一般中小企业都会希望DBA本身负责研发相关工作，杨老师可否谈谈您对DBA的定位和发展建议呢？ 4、 请问杨老师，一般企业在规划数据库服务平台从0到1过程，您比较推荐哪种模块依次开发的顺序来，实现平台的有效设计和有效推广呢？ 分享时间 ： 2020年10月17日 13:00-18:00 扫一扫左边二维码， 立刻报名本次活动。 嘉宾自我介绍 杨奇龙 杭州有赞 DBA ，运营公众号yangyidba 。负责有赞数据库架构设计，数据库服务治理，故障诊断等等 01 杨老师，一直持续在各个技术方面，为大家输出精彩文章，请问您是如何在工作之余进行的技术总结呢？您的学习方法可否分享给大家？ 关于写文章这件事上可以看出我记得我从2009年5月份在itpub的博客写了第一篇文章，基本一路写到现在，算是兴趣和对技术的坚持吧。平时利用工作的机会收集案例，素材，查看官方文档，网络其他牛人的博客等，利用空余时间 做技术试验测试，然后汇总写写文章

今天不但是大家熟知的中秋节，其实也是我们程序员的节日！ 程序员节是一个国际上被众多科技公司和软件企业承认的业内人士节日。日期是在每年的第256（ 十六进制 为0x100，或28）天，也就是 平年 的9月13日或 闰年 的9月12日。 它是 俄罗斯 的一个官方 节日 ，其他国家的程序员社群也庆祝这个节日。 之所以选择256（28），是因为它是一个被程序员们所熟知的8 比特 基数。用1个 字节 （等于8 比特 ）最多能表示256个数值，而且在 平年 中，256是2的最大幂中小于365的值。与此同时，也有人提出象征2的10次方的10月24日才是程序员日。 也有人提出将10月10日作为程序员日，因为在计算机世界中，文件都是由1和0这两个二进制数字组成的。中国有人定10月24日为程序员节，因2的10次方 = 1024。 祝大家中秋节和程序员节快乐。 新福利: 从9月11日开始至10月15日截止，一共五周时间，每周二我会从公众号底部留言互动最多的读者中抽取一名读者，免费包邮送实体新书《HBase原理与实践》，留言互动起来吧~ 猜你喜欢 1、 七问Redis，才知道我与技术大牛的差距在哪里 2、 这可能是学习 Spark Delta Lake 最全的资料 3、 基于 MySQL Binlog 的 Elasticsearch 数据同步实践 4、 大数据面试知识图谱 扫码关注我们 过往记忆大数据

1、背景 日志系统接入的日志种类多、格式复杂多样，主流的有以下几种日志： filebeat采集到的文本日志，格式多样 winbeat采集到的操作系统日志 设备上报到logstash的syslog日志 接入到kafka的业务日志 以上通过各种渠道接入的日志，存在2个主要的问题： 格式不统一、不规范、标准化不够 如何从各类日志中提取出用户关心的指标，挖掘更多的业务价值 为了解决上面2个问题，我们基于flink和drools规则引擎做了实时的日志处理服务。 2、系统架构 架构比较简单，架构图如下： 各类日志都是通过kafka汇总，做日志中转。 flink消费kafka的数据，同时通过API调用拉取drools规则引擎，对日志做解析处理后，将解析后的数据存储到Elasticsearch中，用于日志的搜索和分析等业务。 为了监控日志解析的实时状态，flink会将日志处理的统计数据，如每分钟处理的日志量，每种日志从各个机器IP来的日志量写到Redis中，用于监控统计。 3、模块介绍 系统项目命名为eagle。 eagle-api：基于springboot，作为drools规则引擎的写入和读取API服务。 eagle-common：通用类模块。 eagle-log：基于flink的日志处理服务。 重点讲一下eagle-log： 对接kafka、ES和Redis 对接kafka和ES都比较简单

简介 在Elasticsearch中mapping有很多可以配置的地方，但是使用多了就会发现，一般情况有关mapping最常用、也最实用的就简单的几个需要注意的地方。 下面就简单的介绍一下关于这些mapping中值得注意的地方。 当然，如果想要了解更多关于mapping的知识，可以参考后面给的参考链接。 添加mapping # 添加为索引添加mapping curl -X PUT http://localhost:9200/index-name/_mapping # 查看索引的mapping curl -X GET http://localhost:9200/index-name/_mapping 下面是添加mapping的body部分： { "mappings": { "dynamic": "strict", "properties": { "title": { "type": "text", "norms":false, "doc_values":false }, "name": { "type": "keyword" }, "attach": { "type": "text" } } } } 在mapping中，dynamic参数建议设置为"strict"，这样当添加的文档中有mapping中没有的字段就可以获取到异常。当然，如果你只想有多的字段也无所谓