Spark-03 scala

筅森魡賤 提交于 2019-11-27 14:14:34

前言

spark可以用三种不同的语言编写:scala,python和java,相比于其他两种语言,scala的性能较好。

ps:scala也是基于jvm的一种语言,有些地方效率比java更高。

1.函数式编程

Spark依赖于函数式编程,使用函数作为基本编程输入,函数没有状态或副作用,只包含输入和输出。

下面进入spark-shell,启动sparkshell不用先启动spark, 如果加了/spark-shell

启动命令:./spark-shell (local模式启动) ./spark-shell  --master(启动spark)

 现在写一个大小写字母转换的函数

再写spark读取一个文件,用.map方法遍历每一行,把toUpper传递进去

除此以外还能传递匿名函数。

 

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!