Spark2.x与ElasticSearch的完美结合

≯℡__Kan透↙ 提交于 2020-04-07 00:48:50

ElasticSearch(简称ES)是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎,基于RestFul web接口。ElasticSearch是用Java开发的,并作为Apache许可条款下的开放源码发布,是当前流行的企业级搜索引擎。设计用于云计算中,能够达到实时搜索,稳定,可靠,快速,安装使用方便的目地,当前在各大公司使用非常普遍。而Spark是基于分布式内存的高性能计算框架,用来处理大量的数据。本篇文章,我将与大家探讨如何用Spark从ES中加载数据,并将数据保存到ES里面。

1. FEA-spk集成ElasticSearch

FEA-spk技术,它的底层基于最流行的大数据开发框架Spark,对各种算子的操作都是基于DataFrame的。使用FEA-spk来做交互分析,不但非常简单易懂,而且几乎和Spark的功能一样强大,更重要的一点是,它可以实现可视化,处理的数据规模更大,可以进行分布式的机器学习等。

Spark2.x与ElasticSearch的完美结合,大大丰富了FEA-spk的业务处理能力。

2. FEA处理ElasticSearch的原语实现

(1) 创建spk的连接

(2) 创建ElasticSearch的连接

(3) 加载数据到ES中

数据的格式如下表所示

可以看到数据有一亿多条,73个字段,数据量还是比较大的。

(4)查看一下df1表的前十行

(5) 下面将df1表的数据写回到ES里面,其中spark是index,people是type。

由于数据量比较大,所以我们选择后台运行。

进入spark web界面,查看运行情况。

可以看到花费了3.6h,如果能够再调优一下,可能花费的时间更短

如果对我的文章感兴趣,请帮忙点个赞噢。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!