Elastic

最近在学习ELK的时候踩了不少的坑，特此写个笔记记录下学习过程。 日志主要包括系统日志、应用程序日志和安全日志。系统运维和开发人员可以通过日志了解服务器软硬件信息、检查配置过程中的错误及错误发生的原因。经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。 通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉很繁琐和效率低下。当务之急我们使用集中化的日志管理，例如：开源的syslog，将所有服务器上的日志收集汇总。 集中化管理日志后，日志的统计和检索又成为一件比较麻烦的事情，一般我们使用grep、awk和wc等 Linux 命令能实现检索和统计，但是对于要求更高的查询、排序和统计等要求和庞大的机器数量依然使用这样的方法难免有点力不从心。 开源实时日志分析ELK平台能够完美的解决我们上述的问题，ELK由ElasticSearch、Logstash和Kiabana三个开源工具组成。官方网站： https://www.elastic.co/products Elasticsearch是个开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 Logstash是一个完全开源的工具，他可以对你的日志进行收集、过滤

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 2018年11月10日周六，Elastic 中国开发者大会将在深圳金茂 JW 万豪酒店召开。届时，将有来自 Elastic、eBay、暴雪、Grab、华为、阿里巴巴、顺丰等公司的25位各领域的专家为大家带来围绕 Elastic 开源技术的精彩分享。 Elastic Stack 作为目前全球最流行的数据搜索与实时分析引擎套件，其产品累计下载次数已超过三亿五千万次，各行各业从一线互联网公司到传统的行业都能找到使用 Elasticsearch 的身影。Elastic 的开源技术正越来越受到众多开发者的青睐，已然成为大数据领域分析工具的最佳选择。 [来自 http://db-engines.com 的最新综合排名] Elastic 中国开发者大会 2018（Elastic Developers China 2018）是由 Elastic 官方在中国举办的第二次开发者大会，主要围绕 Elastic 的开源产品: Elasticsearch、Logstash、Kibana 和 Beats，探讨在搜索、数据实时分析、日志分析、安全等领域的实践与应用。 举办 Elastic 开发者大会的目的是为中国广大的 Elastic 开发者提供一个技术交流和学习切磋的地方，汇集业界众多的成功案例，集思广益，发散思维，促进社区和行业的进步。

1、概述 logstash是有java语言写的，所以程序占用系统资源比较多。但是支持grok正则，这是特别强大的。 2、安装 参考：https://www.elastic.co/guide/en/logstash/current/installing-logstash.html yum安装： #rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch#cat /etc/yum.repos.d/logstash.repo [logstash-6.x] name=Elastic repository for 6.x packages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md#yum install logstash3、配置文件# cat logstash.conf input { beats { port => "5044" } } filter { if 'backend' in [tags] { json { source =>

1. 问题 使用官方给出的快速搭建手册： 开始使用Elastic Cloud on Kubernetes 所搭建的服务是基于https访问的，在实际应用中可能由于证书问题不方便使用，所以这里改为使用http进行访问。 2. 解决方案 将搭建es的yaml文件修改为： apiVersion : elasticsearch.k8s.elastic.co/v1beta1 kind : Elasticsearch metadata : name : quickstart spec : nodeSelector : kubernetes.io/hostname : k8s - master version : 7.4.0 nodeSets : - name : default count : 1 config : node.master : true node.data : true node.ingest : false node.store.allow_mmap : false http : tls : selfSignedCertificate : disabled : true 如果你也不想使用账号密码访问，基本认证可以绕过启用匿名访问，添加如下内容： spec : nodes : - nodeCount : 1 config : xpack.security.authc :

计算 EC2 - Elastic Compute Cloud 提供云计算虚拟机。 AWS Batch - 批量配置和管理基础设施。 ECR - Elastic Container Registry 类似于Docker hub用于托管AWS Docker镜像的仓库。 ECS - Elastic Container Service 高度可扩展的管理容器的服务，可以管理集群上的容器。 EKS - Elastic Kubernetes Service 在AWS上运行kubernetes并使用其管理、扩展应用程序。 Elastic Beanstalk - 将EC2、ELB、ASG等服务集成在一起，可以是你快速部署应用，而不用关心基础设置配置。 Lambda - 来源： CSDN 作者： jiayong_2012 链接： https://blog.csdn.net/jiayong_2012/article/details/103463579

下载地址 https://www.elastic.co/cn/downloads/elasticsearch 安装 使用Elasticsearch入门教程 https://www.yiibai.com/elasticsearch/elasticsearch-getting-start.html 来源： https://www.cnblogs.com/lick468/p/12021016.html

ELKStack 之 Elasticsearch ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。 ELK Stack 在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点： ELKStack简介 ELK Stack 是 Elasticsearch、Logstash、Kibana 三个开源软件的组合。在实时数据检索和分析场合，三者通常是配合共用，而且又都先后归于 Elastic.co 公司名下，故有此简称。 ELK Stack 在最近两年迅速崛起，成为机器数据分析，或者说实时日志处理领域，开源界的第一选择。和传统的日志处理方案相比，ELK Stack 具有如下几个优点： • 处理方式灵活。Elasticsearch 是实时全文索引，不需要像 storm 那样预先编程才能使用； • 配置简易上手。Elasticsearch 全部采用 JSON 接口，Logstash 是 Ruby DSL 设计，都是目前业界最通用的配置语法设计； • 检索性能高效。虽然每次查询都是实时计算，但是优秀的设计和实现基本可以达到全天数据查询的秒级响应； •

这个问题发生在更新ES版本的时候。 我之前部署的ES是5.5版本的，后来发生了一次被挖矿的经历之后，就下决心部署7.5版本ES到服务器上，替换掉5.5版本。 中间一些坑是之前5.5部署的时候就发现的，例如： 1.提示不能用root账号启动 2.jvm线程最大数限制， 解决方式：修改目录 。 vim /etc/sysctl.conf 添加vm.max_map_count = 262144 执行sysctl -p 但有意思的是 出现了一个新的坑，之前部署5.5的时候没有发现的。 ERROR: [1] bootstrap checks failed [1]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configured 在启动的时候check配置文件发现，这三个参数不能全量为空。尝试改了一个配置启动发现真的没有问题了。 我的改动为：cluster.initial_master_nodes: ["node-1"] 然后去官网找原因： 默认情况下，当Elasticsearch首次启动时

开篇说的是，Shared-nothing当前已经是主流的架构，需要用自身的local disks来存储数据，Tables被水平划分到各个partitions上 这种架构，比较适合star-schema，即事实表外只有一层维表，这样join会比较简单，可以把维表广播，避免大量的数据传输 这个架构的主要问题就是，计算和存储没有分离 带来的问题，他说了几点，我的理解主要是， 首先资源利用会不合理，因为存储和计算任意资源不足，都需要增加节点，而且各个节点上很容易产生热点，热点打散比较麻烦，因为需要分割数据 最关键的是，这个架构在每个node上都有状态，存在本地磁盘，需要保证一致性 扩缩容非常的麻烦，有可能需要迁移数据和分割数据，这个成本非常的高 这篇文章的主要的思想，就是做了 计算和存储分离 数据直接放到S3上， 那么本地磁盘仅仅用于cache Snowflake整体的架构分3层， Data Strorage 数据主存储用的是S3，会有更高的延迟，更大cpu消耗，尤其是用https的时候 而且S3是对象存储，无法append，当然读的时候是可以读部分数据 /*--> */ /*--> */ Compared to local storage, S3 naturally has a much higher access latency and there is a higher CPU

在Macos上安装 一、下载安装过程 最新版本下载地址： https://www.elastic.co/cn/downloads/elasticsearch 历史版本下载地址： https://www.elastic.co/cn/downloads/past-releases#elasticsearch Github上源码地址： https://github.com/elastic/elasticsearch 1）下载并解压缩Elasticsearch Elasticsearch也可以使用apt或yum从包存储库安装，或者使用MSI安装包安装在Windows上。参见指南中的知识库。 https://www.elastic.co/guide/en/elasticsearch/reference/current/install-elasticsearch.html 2）运行 bin/elasticsearch (or bin\elasticsearch.bat on Windows) 3）浏览器运行 http://localhost:9200/ 验证是否安装成功 来源： https://www.cnblogs.com/756623607-zhang/p/12007962.html