Elastic

我的环境， 用spring boot整合Elastic search （下面简称es） 建了一个@document的文档类，还有一个集成ElasticSerchRepository仓库接口； 代码： 0.application.properties spring.data.elasticsearch.cluster-nodes=localhost:9300 1.文档类 @Document(indexName = "blog",type="blog") public class EsBlog implements Serializable{ private static final long serialVersionUID = 1L; @Id private String id; private String title; private String sumarry; private String content; protected EsBlog() { } public EsBlog(String id, String title, String sumarry, String content) { this.id = id; this.title = title; this.sumarry = sumarry; this.content = content; } 2.仓库类

1.添加 curl -u elastic:123456 -H "Content-Type:application/json" -XPUT 'http://192.168.0.103:9200/megacorp/employee/3' -d ' { "first_name":"Douglas", "last_name":"Fir", "age":35, "about":"I love to cabinets", "interest":["forestry"] }' 2.获取单个 curl -u elastic:123456 -XGET 'http://192.168.0.103:9200/megacorp/employee/1' 3.轻量搜索 curl -u elastic:123456 -XGET ' http://192.168.0.103:9200/megacorp/employee/_search { "took": 6, "timed_out": false, "_shards": { ... }, "hits": { "total": 3, "max_score": 1, "hits": [ { "_index": "megacorp", "_type": "employee", "_id": "3", "_score": 1, "_source": { "first

启动时报错信息： 寻找主要信息：failed to obtain node locks 简单理解为：绑定节点失败！！！ 百度后，好多人同样遇到了这个问题，导致的原因可能是因为之前运行的es还没有正常关闭。 第一步： 通过命令：ps aux | grep ‘elastic’ 进行查看。如下图： 第二步： 通过命令： kill -9 进程号 关闭此进程。 第三步： 重新启动es。./bin/elasticsearch 文章来源: elastic search报错――“failed to obtain node locks”

最近正在学习服务器应用平台的搭建的相关知识。有幸从朋友与书上了解到Elastic套件的使用，我花了两天的时间把最新的套件部署在我的服务器上，中间踩了数不清的坑。我把整个过程都记录了下来与各位有需要的朋友们分享一下。 Update 经过测试该安装破解方案已兼容Elasticsearch6.4.2至Kibana6.5.1版本 环境说明 操作系统：CentOS 7.5 腾讯云公共镜像 最低配置：1核2G（容易崩溃） 建议配置：2核4G（比较稳定） 推荐配置：越强越好（有钱真好） 软件来源：官方yum源，官网网站：https://www.elastic.co/ 本文中使用的代码方式已在腾讯云服务器实际测试过，安装过程采用yum安装，若用rpm安装应该差异不大。 最近一次成功配置服务的时间为：2018-10-22，若因为版本更新导致本文的配置方案有初入或者失效的请见谅。 若有配置维护等问题欢迎讨论（其实我也是刚刚入门），联系我：mailto@wolfbolin.com 准备工作 首先你可以给自己的主机起一个好听的名字，方便在未来区分不同的主机 hostnamectl set-hostname xxx 最好把系统上已有的应用更新到最新版本 yum update -y Elasticsearch需要Java 1.8.0_131或更高版本，方便起见可以直接安装OpenJDK

默认配置下，Elastic可以直接访问。有些时候需要配置成像数据库一样，经过用户名密码验证后，才能访问es中的索引数据。下面的方法可以实现，利用http-basic插件： 1.http-basic文件夹拷入plugins目录 插件下载地址 https://github.com/Asquera/elasticsearch-http-basic 2.elasticsearch.yml中加入： http.basic.enabled: true http.basic.user: "test" http.basic.password: "test132" http.basic.ipwhitelist: ["localhost", "127.0.0.1"] http.basic.trusted_proxy_chains: [] http.basic.log: true http.basic.xforward: "X-Forwarded-For" 3.获取client使用如下代码 4.有疑问加群：258143901 文章来源: https://blog.csdn.net/zrh19870914/article/details/90766921

1 1.1 1.2 1.2.1 1 1.2.2 2 1.3 1.4.1 elasticsearch https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.1.tar.gz 1.4.2 kibana https://artifacts.elastic.co/downloads/kibana/kibana-5.4.1-linux-x86_64.tar.gz 1.4.3 logstash https://artifacts.elastic.co/downloads/logstash/logstash-5.4.1.tar.gz 1.5 1.5.1 1.5.2 1.6 jdk jdk1.81.8 2 2.1 elasticsearch 2.1.1 elasticsearch 2.3 2.3.1 root q q root 2.3.2 q q q q 2.2 logstash 2.2.1 logstash 2.2.2 logstash 2.3 kibana 2.3.1 kibana 2.3.2 原文：http://blog.51cto.com/lzhnb/2150484

1.logstash的配置 [root@VM_0_4_centos config]# cat wxqyh.yml|egrep -v '^$|^#' input { file { type => "4personal20001" path => "/mnt/data/logs/personal_20001/log4j.log" start_position => "beginning" sincedb_path => "/dev/null" codec => multiline { pattern => "^%{TIMESTAMP_ISO8601}" negate => true what => "previous" } } file { type => "4personal20002" path => "/mnt/data/logs/personal_20002/log4j.log" start_position => "beginning" sincedb_path => "/dev/null" codec => multiline { pattern => "^%{TIMESTAMP_ISO8601}" negate => true what => "previous" } } } filter { grok { match => { "message" => "^%

在Kafka的2.3版本中，对Kafka连接器做了很大的改进。首先就是在添加和删除连接器时，修改了Kafka连接器处理任务的方式。之前这个动作造成了整个系统的停顿，这是一直被开发和运维人员诟病的地方，除此之外，社区中频繁提到的其他一些问题，也得到了解决。 Kafka连接器中的增量协作再平衡 Kafka连接器集群由一个或多个工作节点进程组成，集群以任务的形式分发连接器的负载。在添加或删除连接器或工作节点时，Kafka连接器会尝试再平衡这些任务。在Kafka的2.3版本之前，集群会停止所有任务，重新计算所有任务的执行位置，然后重启所有任务。每次再平衡都会暂停所有数据进出的工作，通常时间很短，但有时也会持续一段时间。 现在通过 KIP-415 ，Kafka 2.3用增量协作再平衡做了替代，以后将仅对需要启动、停止或移动的任务进行再平衡。具体的详细信息请参见 这里 。 下面用一些连接器做了一个简单的测试，这里只使用了一个分布式Kafka连接器工作节点，而源端使用了 kafka-connect-datagen ，它以固定的时间间隔根据给定的模式生成随机数据。以固定的时间间隔就可以粗略地计算由于再平衡而停止任务的时间，因为生成的消息作为Kafka消息的一部分，包含了时间戳。这些消息之后会被流式注入Elasticsearch，之所以用它，不仅因为它是一个易于使用的接收端

例如我在学习ElasticSearch的时候，会首先在Word文档(md或许更好)上面新建目录，目录基本格式为 ElasticSearch介绍 、 ElasticSearch安装 、 ElasticSearch使用 、 ElasticSearch配置 、 ElasticSearch优化 、 ElasticSearch注意事项 等等，当然这些目录也要根据实际情况来；然后我再去根据上述的目录去有目的寻找一些资料并记录下来，当然在使用的过程中发现的一些知识点或者解决的一些问题我也会记下来，这样我就积累了ElasticSearch的一些相关知识；最后，我会抽时间把这些知识点整理成博客发表出来，进行分享，分享的同时也促进了我掌握ElasticSearch的知识点。 示例图: 学会给自己制定目标并去完成，哪怕再小的目标！当然这个小目标并不是指某个大佬说的那种小目标~，而是切身实际的一些目标，然后将这些目标去拆分出来。 比如在公司，一般都会有年终总结和来年目标计划，相比大部分都回去写，但是不知有多少人完成了自己当初所制定的计划呢~ 这里不讨论如何去完成xxx的目标计划，只是谈谈我们应该养成这样的习惯。我们不必给自己太大的压力，今年之内一定要完成xxx之类的，我们可以给自己制定一些简单小目标，然后去完成它。比如今天阅读10分钟的源码，这周学会使用一个新的技术，这个月看完一本书等等，这些目标虽然很小

开始部署codedeploy： 1.先预置IAM用户： 创建一个IAM用户或使用一个与AWS相关联的用户； 复制以下的策略附加到IAM用户，向IAM用户赋予对codedeploy（及codedeploy所依赖的AWS服务和操作）的访问权限： { "Version": "2012-10-17", "Statement" : [ { "Effect" : "Allow", "Action" : [ "autoscaling:*", "codedeploy:*", "ec2:*", "lambda:*", "ecs:*", "elasticloadbalancing:*", "iam:AddRoleToInstanceProfile", "iam:CreateInstanceProfile", "iam:CreateRole", "iam:DeleteInstanceProfile", "iam:DeleteRole", "iam:DeleteRolePolicy", "iam:GetInstanceProfile", "iam:GetRole", "iam:GetRolePolicy", "iam:ListInstanceProfilesForRole", "iam:ListRolePolicies", "iam:ListRoles", "iam:PassRole", "iam