Flink从入门到精通(二)

别说谁变了你拦得住时间么 提交于 2020-08-10 06:39:12

1. 本地模式

 

建议环境:
Linux: CentOS 6.x版本
(笔者用的是macOS Catalina)
JDK: 8以上版本(需要配置好JAVA_HOME)
(笔者用的是JDK14)



 

1-1) 从官网下载Flink安装包

笔者使用的是flink-1.10.1-bin-scala_2.12.tgz

解压安装包,拷贝到/usr/local目录下

1-2) 配置bash脚本

编辑bash配置文件:

(Mac) vi ~/.bash_profile

(CentOS) vi /etc/profile

添加FLINK_HOME
# flink
export FLINK_HOME=/usr/local/flink-1.10.1
export PATH=$PATH:$FLINK_HOME/bin


保存

(Mac) source ~/.bash_profile
(CentOS) source /etc/profile

1-3) 启动Flink

start-cluster.sh

运行结果:
Starting cluster.
Starting standalonesession daemon on host KGdeMacBook-Pro.local.
Starting taskexecutor daemon on host KGdeMacBook-Pro.local.


访问http://localhost:8081/

 

 

 

 

1-4) 关闭Flink

stop-cluster.sh

运行结果:
Stopping taskexecutor daemon (pid: 6058) on host KGdeMacBook-Pro.local.
Stopping standalonesession daemon (pid: 5791) on host KGdeMacBook-Pro.local.

 

2. Standalone集群模式

Standalone模式是Flink的独立部署模式,它不依赖于其它平台。
如果想搭建一套独立的Flink集群,可以考虑使用这种模式。

规划集群信息:

节点名 机器名
Master   master
Slave1 data1
Slave2 data2

 

 

 

 

 

注: 3台机器都安装了JDK8以上版本,配置了JAVA_HOME, 并且配置了各节点之间ssh免密登陆。

Master运行JobManager进程
Slave运行TaskManager进程

笔者的3台机器虚拟机配置如下:

节点名 操作系统 JDK版本
master Ubuntu 18 JDK8
data1 Ubuntu 18 JDK8
data2 Ubuntu 18 JDK8
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!