ElasticSearch

　　Logstash是一款轻量级的日志搜集处理框架，可以方便的把分散的、多样化的日志搜集起来，并进行自定义的处理，然后传输到指定的位置，比如某个服务器或者文件。 　　本文针对 官方文档 进行翻译以及实践，希望有更多的有用户了解、使用这款工具。 下载、安装、使用 　　这款工具是开箱即用的软件， 下载地址戳这里 ，下载自己对应的系统版本即可。 　　下载后直接解压，就可以了。 　　通过命令行，进入到logstash/bin目录，执行下面的命令： logstash -e "" 　　可以看到提示下面信息（这个命令稍后介绍）， 输入hello world! 　　 可以看到logstash尾我们自动添加了几个字段，时间戳@timestamp，版本@version，输入的类型type，以及主机名host。 工作原理 　　Logstash使用 管道方式 进行日志的搜集处理和输出。有点类似*NIX系统的管道命令 xxx | ccc | ddd ，xxx执行完了会执行ccc，然后执行ddd。 　　在logstash中，包括了三个阶段: 　　输入input --> 处理filter（不是必须的） --> 输出output 　　每个阶段都由很多的 插件 配合工作，比如file、elasticsearch、redis等等。 　　每个阶段也可以指定 多种方式 ，比如输出既可以输出到elasticsearch中

关于 Elastic 认证考试，官方文档已经提供了详尽的 Elastic Certification FAQ， 详细地址： https://www.elastic.co/cn/training/certification/faq 近一年，有以下 Elastic 认证相关问题经常被问到。特整理出来，希望对更多需要认证考试的朋友有所帮助。 1、英语不ok，可以参加 Elastic 认证考试吗？ 考试的时候可以使用谷歌翻译。 以下是一位通过朋友的最新（2020-06-09）反馈： 但，时间非常宝贵，还是建议熟悉文档。 考试环节的主要是阅读理解能力，千万别理解错题意，导致答非所问。 以下是理解错导致答题出错的案例： 还是对考前15分钟的考官英文打字交流担心怎么办？ 不用太担心，零口语交流，全是打字。 都是非常简短的考前检查交流。如果你着急或者担心，你写中文，考官那边会翻译后和你交流。 2、Elastic 认证考试有大纲吗？ 有的。 参见官方: https://www.elastic.co/cn/training/elastic-certified-engineer-exam 未来可能会改版，以官方公布为准。 截止：2020年6月27日， Elastic 认证工程师（Elastic Certified Engineer）的考试版本是：7.2 。 最新推出的 Elastic 分析工程师

本文来源： http://blog.csdn.net/Linkthaha/article/details/100575651 最近，在对公司容器云的日志方案进行设计时，发现主流的 ELK 或者 EFK 比较重，再加上现阶段对于 ES 复杂的搜索功能很多都用不上，最终选择了 Grafana 开源的 Loki 日志系统，下面介绍下 Loki 的背景。 背景和动机 当我们的容器云运行的应用或者某个节点出现问题了，解决思路应该如下： 我们的监控使用的是基于 Prometheus 体系进行改造的，Prometheus 中比较重要的是 Metric 和 Alert。 Metric 是来说明当前或者历史达到了某个值，Alert 设置 Metric 达到某个特定的基数触发了告警，但是这些信息明显是不够的。 我们都知道，Kubernetes 的基本单位是 Pod，Pod 把日志输出到 stdout 和 stderr，平时有什么问题我们通常在界面或者通过命令查看相关的日志。 举个例子： 当我们的某个 Pod 的内存变得很大，触发了我们的 Alert，这个时候管理员，去页面查询确认是哪个 Pod 有问题，然后要确认 Pod 内存变大的原因。 我们还需要去查询 Pod 的日志，如果没有日志系统，那么我们就需要到页面或者使用命令进行查询了： 如果，这个时候应用突然挂了，这个时候我们就无法查到相关的日志了

作者介绍 李猛，Elastic Stack 深度用户，通过 Elastic 工程师认证，2012年接触 Elasticsearch，对 Elastic Stack 技术栈开发、架构、运维等方面有深入体验，实践过多种大中型项目；为企业提供 Elastic Stack 咨询培训以及调优实施；多年实战经验，爱捣腾各种技术产品，擅长大数据，机器学习，系统架构。 序言 首先解释下 即时、实时与离线 概念定义，最近碰到很多的认知误区，需要纠正下。 即时概念 当数据变更之后马上就可以查询变更，内部采用事务隔离机制，查询的数据必须阻塞直到数据更新完毕，如单实例关系数据库数据发生变更后，然后马上可查询到。 实时概念 在数据同步场景中，包括异构数据源和同构数据源之间，泛指在可接受的很快时间范围内同步完成，一般的认知是秒级左右，也可以毫秒或者微秒，依据业务需求与实现 来源： oschina 链接： https://my.oschina.net/u/4335275/blog/4300302

面试题 如何设计一个高并发系统？ 面试官心理分析 说实话，如果面试官问你这个题目，那么你必须要使出全身吃奶劲了。为啥？因为你没看到现在很多公司招聘的 JD 里都是说啥，有高并发就经验者优先。 如果你确实有真才实学，在互联网公司里干过高并发系统，那你确实拿 offer 基本如探囊取物，没啥问题。面试官也绝对不会这样来问你，否则他就是蠢。 假设你在某知名电商公司干过高并发系统，用户上亿，一天流量几十亿，高峰期并发量上万，甚至是十万。那么人家一定会仔细盘问你的系统架构，你们系统啥架构？怎么部署的？部署了多少台机器？缓存咋用的？MQ 咋用的？数据库咋用的？就是深挖你到底是如何扛住高并发的。 因为真正干过高并发的人一定知道，脱离了业务的系统架构都是在纸上谈兵，真正在复杂业务场景而且还高并发的时候，那系统架构一定不是那么简单的，用个 redis，用 mq 就能搞定？当然不是，真实的系统架构搭配上业务之后，会比这种简单的所谓“高并发架构”要复杂很多倍。 如果有面试官问你个问题说，如何设计一个高并发系统？那么不好意思， 一定是因为你实际上没干过高并发系统 。面试官看你简历就没啥出彩的，感觉就不咋地，所以就会问问你，如何设计一个高并发系统？其实说白了本质就是看看你有没有自己研究过，有没有一定的知识积累。 最好的当然是招聘个真正干过高并发的哥儿们咯，但是这种哥儿们人数稀缺，不好招