scala

1.准备 本文主要讲述如何在Ubuntu 16.04 中搭建 Spark 2.11 单机开发环境，主要分为 3 部分：JDK 安装，Scala 安装和 Spark 安装。 JDK 1.8： jdk-8u171-linux-x64.tar.gz Scala 11.12： Scala 2.11.12 Spark 2.2.1： spark-2.2.1-bin-hadoop2.7.tgz 需要注意的是，Spark 版本与 Scala 版本需要匹配一致。 Note: Starting version 2.0, Spark is built with Scala 2.11 by default. Scala 2.10 users should download the Spark source package and build with Scala 2.10 support. 2.JDK 安装 下载 jdk-8u171-linux-x64.tar.gz 后，解压到自己指定目录。 $ sudo mkdir /usr/local/java $ sudo tar -zxvf jdk-8u171-linux-x64.tar.gz -C /usr/local/java 配置环境变量,打开 profile 文件 $ sudo gedit /etc/profile 在文件末尾写入，注意 JAVA_HOME

Spark开发环境搭建 一. 安装Spark 二. 词频统计案例 三. Scala开发环境配置 一、安装Spark 1.1 下载并解压 官方下载地址： http://spark.apache.org/downloads.html ，选择 Spark 版本和对应的 Hadoop 版本后再下载： 解压安装包： # tar -zxvf spark-2.2.3-bin-hadoop2.6.tgz 1.2 配置环境变量 # vim /etc/profile 添加环境变量： export SPARK_HOME=/usr/app/spark-2.2.3-bin-hadoop2.6 export PATH=${SPARK_HOME}/bin:$PATH 使得配置的环境变量立即生效： # source /etc/profile 1.3 Local模式 Local 模式是最简单的一种运行方式，它采用单节点多线程方式运行，不用部署，开箱即用，适合日常测试开发。 # 启动spark-shell spark-shell --master local[2] local ：只启动一个工作线程； local[k] ：启动 k 个工作线程； * local[ ]**：启动跟 cpu 数目相同的工作线程数。 <br/> 进入 spark-shell 后，程序已经自动创建好了上下文 SparkContext

前言 随着微服务理念的盛行，微框架的概念也随之诞生,而其中最耀眼的，当属SpringBoot。虽然之前Dropwizard是公认的最早的微框架，但SpringBoot“青出于蓝而胜于蓝”，背靠Spring框架衍生出来的整个生态体系，无论是从“出身”，还是社区的支撑上，SpringBoot 都是微框架选型的不二之选。 当然，如果在使用Spring Boot的过程中只是简单地“用"，而不去思考其背后的实现逻辑与思想，即便用得再好，收获也是有限的这样只能做到“手熟”，并不能拥有“匠心”。更重要的是， 如果不学习Spring Boot背后那些优秀的设计理念和实现方式，我们肯定不能真正用好Spring Boot。 那么想要用好SpringBoot该怎么做？市面上那么多SpringBoot的资料该如何选择？不要慌，互联网雷锋（小编我）前段时间在阿里的一个朋友手上拿到一份其内部疯传的SpringBoot进阶宝典。 “框架、体系、生态”，三者循序渐进，相辅相成，肝完之后可以助大家在使用SpringBoot微框架打造自己特色的微服务体系和技术生态。 下面我们来看看主要内容： 由于篇幅限制就只能以截图主要内容的形式展示出来了，需要的朋友帮忙 点赞文章，关注我之后直接添加小助理vx：bjmsb2020 即可百分百获取 SpringBoot快速构建微服务体系 第一份文档将理论与实践相结合、框架与生态相结合