1）rsync是什么？

rsync主要用于备份和镜像，具有速度快、避免复制相同内容和支持符号链接的优点。

2）rsync和scp区别：

用rsync做文件的复制要比scp的速度快，rsync只对差异文件做更新。
scp是把所有文件都复制过去。

3）基本语法

rsync -av $pdir/$fname $user@hadoop$host:$pdir/$fname
命令选项参数要拷贝的文件路径/名称目的用户@主机:目的路径/名称

命令   选项参数   要拷贝的文件路径/名称    目的用户@主机:目的路径/名称
rsync  -av       $pdir/$fname         $user@hadoop$host:$pdir/$fname

选项	功能
-a	归档拷贝
-v	显示复制过程

xsync集群分发脚本

执行命令可循环复制文件到所有节点的相同目录下

期望脚本： xsync 要同步的文件名称

说明：在/usr/local/bin这个目录下存放的脚本，用户可以在系统任何地方直接执行。

也可以放到当前用户如 /home/luffy/bin 下创建的/bin目录中

脚本实现

在/usr/local目录下创建bin目录，并在bin目录下xsync创建文件，文件内容如下：

#!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if [ $pcount -lt 1 ]
then
    echo Not Enough Arguement!
    exit;
fi

#2. 遍历集群所有机器
for host in luffy1 luffy2 luffy3
do
    echo ====================    $host    ====================
    #3. 遍历所有目录，挨个发送
    for file in $@
    do
        #4 判断文件是否存在
        if [ -e $file ]
        then
            #5. 获取父目录
            pdir=$(cd -P $(dirname $file); pwd)
            echo pdir=$pdir

            #6. 获取当前文件的名称
            fname=$(basename $file)
            echo fname=$fname

            #7. 通过ssh执行命令：在$host主机上递归创建文件夹（如果存在该文件夹）
            ssh $host "mkdir -p $pdir"

                        #8. 远程同步文件至$host主机的$USER用户的$pdir文件夹下
            rsync -av $pdir/$fname $USER@$host:$pdir
        else
            echo $file does not exists!
        fi
    done
done

修改脚本 xsync 具有执行权限

[root@luffy1 bin]# chmod 777 xsync

调用脚本测试：xsync 文件名称

[root@luffy3 bin]#  xsync aaa

脚本可以正常运行, 但是需要每次输入密码. 免密登录即可实现简化密码输入

设置集群机器免密登录

免密登陆原理：

å¨è¿éæå¥å¾çæè¿°

配置免密登陆

a）生成密钥对

[zxy@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）
使用rsa算法生成秘钥对
生成的秘钥对在用户家目录下： /home/user/.ssh

b）将公钥拷贝到要免密登录的目标机器上

[zxy@hadoop102 .ssh]$ ssh-copy-id hadoop102
[zxy@hadoop102 .ssh]$ ssh-copy-id hadoop103
[zxy@hadoop102 .ssh]$ ssh-copy-id hadoop104

c）分别ssh直接登陆hadoop102

ssh hadoop103

3.）.ssh文件夹下（~/.ssh）的文件功能解释

文件名	功能
known_hosts	记录ssh访问过计算机的公钥(public key)
id_rsa	生成的私钥
id_rsa.pub	生成的公钥
authorized_keys	存放授权过得无密登录服务器公钥

来源：oschina

链接：https://my.oschina.net/u/3465808/blog/3162785

标签

OpenSSL

rsync

Hadoop