基本知识

北城余情 提交于 2020-01-07 00:51:55

0.jdk,jvm,jre

jdk包括jre,jre=jvm+lib(类库)。运行Java时:去它的环境变量的path里面所列出的路径里面找到jre,然后运行java。因此安装了jdk后,要更改path,告诉电脑jre在这儿。

1.ssh

认证:

①基于口令的认证

只要知道对方的账号和口令就OK

②基于密钥的安全认证

 

 说明:主机A首先(登录方)生成密钥对,包括公钥和私钥,并把公钥发给主机B。

2.小需求

注意:文件服务器上建立启动脚本(启动任务)和安装脚本(负责下载安装包并安装配置),启动脚本将安装脚本下发到各个节点中,然后各个节点执行安装脚本(服务器利用ssh命令一登录过去之后,执行安装脚本)

scp:

 

 

 将hello.sh放到另一台机器(hadoop0002上的当前目录下),以root登录。

用expect来自动登录到另一台机器上:

先安装expect:

yum lis | grep expect

yum -y install expect.x86_64 

再vi a.sh:

 

 

 

 

 说明:timeout超时设置为-1表示不等待了,执行完上一条直接到下一条了。如果设置为10,表示等待10s,10s之后认为是超时,则执行下一条命令。spawn监控。expect里面第一行,如果监控到有yes/no的字样,则进行后面的动作,发送yes\r,并继续监控。第二次如果有password。如果没了,就退出。

再expect -f(文件) a.sh

内网放jdk:

在web主目录新建目录,并把jdk包放入:

 最终解决:

说明:BASE_SERVERE是node01的IP,上面的函数是针对单个主机,下面的函数调用上面的函数对所有主机(node02,node03)进行

 

 

 

 

说明:大致步骤:首先实现免密登录(后期登录不用输入密码和不再显示提示),再对第一个对象:先拷贝install.sh脚本,再登过去执行,再对第二个对象。。。。

 

 

 说明:BASE_SEVERE是node01的ip,wget从node01上搭建的web服务器上下载jdk。最后在/etc/profile中追加两行变量的设置。

接着:

chmod u+x install.h

sh boot.sh:不加权限,用sh直接执行boot.sh

注意:ssh客户端有scp。如果小鸡上没有安装scp,说明它也没有安装ssh客户端,需要给它安装上

 

 

 改进:

 

④、目标机器名要写死在脚本中 

说明:

①.可将免密配置放到install里面;

②.重定向

 

 

其中1表示标准输出,2表示错误输出 

 

 ④.

 

 3.hadoop简介

 

 说明:hadoop是一个平台,上面放东西。hadoop软件库是一个框架,不包含业务,里面可以放各种软件,业务。HDFS是存文件的。YARN是分配作业的。

 

 4.hadoop安装

 

前2种是安装在单节点上,第三种安装在多个结点上

第一种模式安装:

①传入hadoop压缩包并解压

 

 

 进入/usr/local修改小错误:

 

 ②编辑配置文件

vi /etc/profile

追加:

 

说明:sbin是针对系统管理员的

 source /etc/profile

③查看安装

hadoop version

④更改hadoop的运行环境

vi /usr/local/hadoop2.7.1/etc/hadoop/hadoop_env.sh

 

⑤实现案例,创建个自己的目录,再创建个input目录存放输入的数据

 

 

 

⑥用put上传数据到目录,现在在自己本机上可以用cp的

 

 ⑦查看一下

 

标签
易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!