ElasticSearch

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。 Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是第二流行的企业搜索引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。 建立一个网站或应用程序，并要添加搜索功能，令我们受打击的是：搜索工作是很难的。希望我们的搜索解决方案要快，希望有一个零配置和一个完全免费的搜索模式，我们希望能够简单地使用JSON通过HTTP的索引数据，我们希望我们的搜索服务器始终可用，我们希望能够一台开始并扩展到数百，我们要实时搜索，我们要简单的多租户，我们希望建立一个云的解决方案。Elasticsearch旨在解决所有这些问题和更多的问题。 ElasticSearch的Schema与其它DB比较： ElasticSearch三方访问方式: 环境是 CentOS 6.4，安装方法有好几种，在这儿我们直接从官网下载包, 1.71版解压后，进入目录执行: bin/elasticsearch 检查服务是否正常工作 curl -X GET http://localhost:9200/ elasticsearch默认是9200端口，返回一个JSON数据，有版本说明运行正常。 elasticsearch的伸缩性很高

环境：ES 6.2.2 os：Centos 7 kibana:6.2.2 介绍 索引是ElasticSearch存放数据的地方，可以理解为关系型数据库中的一个数据库。事实上，我们的数据被存储和索引在分片(shards)中，索引只是一个把一个或多个分片分组在一起的逻辑空间。然而，这只是一些内部细节——我们的程序完全不用关心分片。对于我们的程序而言，文档存储在索引(index)中。剩下的细节由Elasticsearch关心既可。（索引的名字必须是全部小写，不能以下划线开头，不能包含逗号） 类型用于区分同一个索引下不同的数据类型,相当于关系型数据库中的表。在Elasticsearch中，我们使用相同类型(type)的文档表示相同的“事物”，因为他们的数据结构也是相同的。每个类型(type)都有自己的映射(mapping)或者结构定义，就像传统数据库表中的列一样。所有类型下的文档被存储在同一个索引下，但是类型的映射(mapping)会告诉Elasticsearch不同的文档如何被索引。 文档是ElasticSearch中存储的实体，类比关系型数据库，每个文档相当于数据库表中的一行数据。在Elasticsearch中，文档(document)这个术语有着特殊含义。它特指最顶层结构或者根对象(root object)序列化成的JSON数据（以唯一ID标识并存储于Elasticsearch中）。

永久免费！国产操作系统 Deepin V20 Beta版发布（附安装教程） 收录于话题 #打怪升级进阶之路 30个 「 点击图片获取最近两年爆款好文 」 深度操作系统(DEEPIN)是武汉深之度科技有限公司致力于为全球用户提供美观易用、安全可靠的Linux发行版。经过一段时间的测试，这款操作系统的Beta版终于今天和大家见面了。这次Deepin v20操作系统带来了全新的Deepin桌面和全家桶软件，基于Linux 5.3内核，并宣布将永久免费使用。 深度操作系统 20 Beta采取统一的设计风格，从桌面环境和应用重新进行设计，其中底层仓库、内核分别升级到Debian 10、Kernel 5.3，全新的设计带来不一样的交互体验，同时不断优化系统各个方面，带来更加丰富的应用生态和系统稳定性，本次深度应用家族也带来全新的设计和新的应用。 Deepin V20 Beta测试版镜像下载： 64位版： http://cdimage.deepin.com/releases/20Beta/ 文件名称：deepin-20Beta-desktop-amd64.iso SHA-256：77ba059a49756eb1c95f1f4f9f3c45d161762269977c520b115d548799eb01d 今天，就带大家一起来安装这一款操作系统，一起来尝尝鲜。 1、下载镜像文件

华为员工发文：如果华为倒下了，无人扛得起国内通信和芯片的大旗！ 「 读者福利！2 TB 各类技术资源免费赠送 」 华为，一家国内在舆论中不断起浮的科技公司，这是我对华为这家企业第一眼的理解。不管什么时候，总有说好的，说不好的一家企业。 去年开始，这种现象是更加的明显，对于华为的消息是一条接一条，有种“一波未平，一波又起的意思。 1、2018年12月1日孟晚舟在加拿大被捕，之后事件一直持续发酵，到目前为目，虽然经历过庭审等，但一直也没能有一个明确的结果。 2、既而华为在5g的开展方面，就遭遇了美国的阻扰，高通、英特尔终止与华为的业务，其目的就是为了阻碍华为5g部署。 3、去年5月20日，谷歌母公司发言人称，已按照总统特朗普的要求，停止与华为的相关业务及服务。其中包含了硬件、技术、以及软件等方面，还包括谷歌旗下的手机操作系统：安卓。 4、去年的“鸿蒙”系统事件，也是一直是业界的一个焦点。 5、再到年底11月的离职员工事件，又让华为一度成了众人眼中的“坏企业” 6、2020年2月13日，美国政府宣布再延长华为临时许可45天，允许与美国公司继续开展业务。华为表示，不管临时许可与否延期，对华为经营产生的实质性影响有限，也不会改变华为一直遭受的不公平对待。 不管怎么样，还是有很多网友表示支持华为！ 对于，美国制裁华为这一事件来说，无疑还是说明我们国家的科技力量需要进步，而且进步的空间巨大

ELK集群配置 安装初始化 iptables 关闭 selinux 关闭 配置hosts解析 [root@localhost elasticsearch]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 10.211.55.170 node-1 10.211.55.171 node-2 10.211.55.172 node-3 1、配置三个主机的配置文件 [root@localhost elasticsearch]# cat elasticsearch.yml |grep -v "^#" cluster.name: my-application node.name: node-1 #需要变更的配置 node-2或者node3 path.data: /var/lib/elasticsearch path.logs: /var/log/elasticsearch network.host: 10.211.55.170 #需要变更的配置 ip 为 该机器的IP http.port: 9200 discovery

工作年限：8 年服务公司：4 家（含四大门户中的两家）最近职业：Java 架构师职场关键词：社交平台、高并发系统架构设计、技术团队管理、多款从零到一的产品城市！ 六年间，这位职人呆过四大门户中的两家，完成了工程师到架构师的蜕变。经手多款从零到一产品的开发和增长，也经历国内最大社交平台亿级流量和用户的架构设计及优化工作。工作上思路清晰、认真负责，是同事们心目中优秀 Problem Solver。 问：介绍一下你自己？ 答 ：我 2008 年硕士毕业后，前 2 年在一家传统 IT 公司，最近 6 年在互联网公司，历任 Java 开发工程师、高级工程师、架构师等职位。工作内容上，经历过多款产品从零到一的诞生开发过程，也经手过国内用户、内容和流量最大的社交/社区产品的架构改造优化工作，有丰富的社交产品的研发经验，目前在一家创业公司担任技术合伙人。 问：你擅长的技术领域是什么？ 答 ：擅长的编程语言是 Java、Golang、Scala，熟悉程度依次递减。专注于高性能、高并发系统架构设计和实现。 问：平时怎么向家人解释你的工作是做什么的？ 答 ：一般不详细解释，即使解释了也是徒劳。所以他们会按照自己的理解来描述我的工作，比如修电脑的，比如卖手机的。 问：你觉得程序员可以当一辈子吗？有没有想象过自己 40 岁时在做什么？ 答 ：应该还是会从事开发方面的工作吧，外企中有很多上了年岁的程序员啊。

这个坑还是在elasticsearch # vim /etc/security/limits.conf 添加 * soft nofile 65536 * hard nofile 131072 * soft nproc 2048 * hard nproc 4096 # vim /etc/security/limits.d/90-nproc.conf 这个目录下优先度比较高，nproc不要太低就行了 * soft nproc 2048 # vim /etc/sysctl.conf 添加 vm.max_map_count = 262144 reboot #重启 如果rasp-cloud掉了，终端依旧正常工作不用担心 来源： oschina 链接： https://my.oschina.net/9199771/blog/4751207

后面会连载 好友丁威 的Canal系列文章，今天为第一篇。 1、应用场景 提到 Canal，大家应该都能想到这是一个用于解析 MySQL binlog 日志的工具，并将 MySQL 数据库中数据同步到其他存储介质中，例如 Elasticsearch。 即 Canal 一个非常常用的使用场景：数据异构，一种更高级别的数据读写分离架构设计方法。 随着业务不断的发展，企业发展到一定阶段，发现单体的关系型数据库已无法支撑业务高速发展带来数据不断累积的压力，从而会诞生出一种设计架构：分库分表。分库分表对缓解单库数据库压力确实是一种非常好的解决方案，但又衍生出另外一种困境，关联查询不友好，甚至跨库JOIN就更加如此。 举例说明如下：例如一个订单系统，通常有两类用户需要去查询订单，一类是顾客，一类是商家，在对数据库进行分库分表时，如果以顾客(buy_id)进行分库的话，同一个商家的订单数据会分布在不同的库中，如果以商家(shop_id)进行分库的话，同一个用户购买的所有订单数据将会分布在不同的库中，这样进行关联查询，就必然需要跨库进行join，其成本都会偏高。而且上面的场景只能满足一方的需求，那如何是好呢？ Canal 这个时候就闪亮登场了，在电商设计中，其实商家、顾客会被拆分成两个不同的服务，我们可以为两个不同的服务搭建不同的数据库集群，我们可以用户订单库、商家订单库进行分库

梅宁航 发自 凹非寺 量子位 报道 | 公众号 QbitAI 按惯例，先问是不是，再问为什么。 从知乎回答浏览量看，是的。 那么为什么美国程序员就可以到点下班回家，而中国程序员就要每天“主动”、“无偿”加班呢？ 仔细看了群众们热情的回答之后，大概可以分为几派： 1、产品经理不够通情达理，导致效率低下 2、表演性加班，太早回家会被认为不努力工作 3、不尊重技术人才，35岁警告⚠️ 4、中国处于后发追赶，不加班是追不上的 一起来看看具体的吐槽内容： 开发和PM的斗争 瑟瑟发抖只敢吐槽，毕竟现实碰一碰风险太大了。 产品经理的回击： 都怪你太闲了👆.jpg 怒火还会从PM烧到煞笔客户上，不是客户压榨，催催催，PM怎么舍得压榨程序员！ 也有人认为，现在是痛苦的必经阶段，熬过去了，一切都会好的👌。 静待头发掉光之前遇见合格的老板，合格的PM，合格的客户。 加班文化已然形成？ 也有大佬指出，多年996，国内公司已经形成加班的“文化”，谁早下班谁就是不努力。 △ 引用链接见文末 你投错胎了，建议下次重投一遍。 大家都觉得理所当然，也就没人在乎劳动法是咋写的了，加，使劲加。 △ 引用链接见文末 轮子哥指出，这都是因为人太多了。 内卷的必然结果，建议出去当蓝领，修修路，修修水管什么的。 管理层不行 老板们就是这么出来的，“兄弟”们也得跟上节奏，跟不上那就是你人不行。 △ 引用链接见文末