rsync

1、在linux系统中/root/目录下有一个文件ip-pwd.ini,内容如下： 192.168.149.131,root,nihao123!, 192.168.149.132,root,nihao123@ 每一行的格式分别为linux服务的 IP 用户 密码 ,用一个shell脚本批量查看着看这些服务器的主机名； 脚本代码如下： 一个expect.sh脚本 一个exe.sh脚本,用来调用expect.sh [root@localhost_002 shell]# cat expect.sh #!/usr/bin/expect set port [lindex $argv 0] set host [lindex $argv 1] set passwd [lindex $argv 2] set cm [lindex $argv 3] spawn ssh -p $port root@$host expect { "yes/no" { send "yes\r";exp_continue} "password:" { send "$passwd\r" } } expect "]*" send "$cm\r" expect "]*" send "echo -n yuanhaohao >/tmp/yuanhh.txt\r" expect "]*" send "exit\r" [root

简介 前面我们讲到了hadoop拥有3种运行模式，搭建了最简答的本地运行模式并在其上运行了两个简单案例，之后搭建了伪分布模式，并在其上运行了wordcount案例。本章节我们学习完全分布式的模式。顾名思义，该模式使用多台机器实现分布式。 从本章节你可以学习到: hadoop的完全分布式模式的搭建； 在完全分布式模式下运行wordcount案例； 编写脚本实现一键多台服务器文件同步； 编写脚本实现一条命令多条服务器同步执行； 1、准备环境 我们准备3台机器（分布式最小需求），其主机文件配置如下： 192.168.102.133 h133 192.168.102.134 h134 192.168.102.135 h135 也就是说，我们准备的3台机器，主机名以h开头，133、134以及135分别是他们的v4地址的最后一段，方便区别。 主机配置文件位于/etc/hosts，修改主机名使用命令 hostname h133 3台机器都关闭防火墙 systemctl stop firewalld 。 按本地运行模式的安装方式hadoop安装在3台机器上，请参考本教程的 2.运行环境搭建 章节。 如果您使用的是xshell进行各服务器的连接，最好使用 工具-发送键到所有会话 功能，一次性配置三台主机。 2、准备工作：配置SSH无秘钥登录 现在我们已经在3台机器上(h133、h134以及h135)

1、 使用MySQLDump进行MySQL备份 mysqldump是MySQL内置的工具 ，允许用户将数据库指定不同的选项备份到文件、服务器，甚至是压缩gzip文件中。mysqldump实用程序灵活，快速，可执行高级备份，并接受各种命令行参数，用户可通过这些参数来更改备份数据库的方式。 Windows操作系统中的c:mysqlbin和Unix / Linux系统的/usr/local/mysql/bin中可找到mysqldump实用程序，将不同的参数传递给mysqldump实用程序，就可以以下形式使用。 mysqldump ---user [user name] ---password= [password] [database name] > [dump file] 手动备份，只需要MySQL数据库的密码，使用p选项作为密码，将命令发送到mysqldump。例如，要备份所有数据库，请使用all databases： Mysqldump –u USER –p –all-databases> /mnt/backups/all 2、 使用MySQLpump进行MySQL备份 MySQLpump类似于mysqldump，生成支持并行化的逻辑备份。MySQLpump以并行方式为多个数据库执行所有与转储相关的操作，这大大减少了执行逻辑备份所花费的时间。 但是

1.通过 ssh 执行 rsync (需要密码) 通过 ssh 帐户(需要密码)执行 rsync ，将文件同步镜像到远程服务器。 下面这个例子将本地的/home/ramesh同步到远程目录/backup/ramesh(服务器地址192.168.200.10)。 执行以下操作时，服务器将会提示需要用户使用密码登录。 rsync -avz -e ssh /home/ramesh/ ramesh@192.168.200.10:/backup/ramesh/ 2.使用ssh-keygen生成密匙 现在我们来设置ssh,以便在执行ssh操作时不需要密码，使用ssh-keygen在本地生成公钥和私钥。 $ ssh-keygenEnter passphrase (empty for no passphrase): Enter same passphrase again: 提示：当提示输入密码时，只需输入两次回车键，不指配密码字符。 3.使用ssh-copy-id将公匙拷贝至远程主机 执行ssh-copy-id,将通过ssh-keygen生成的公匙拷贝至远程主机。 ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.200.10 提示：执行以上操作时，将会提示输入远程主机帐户和密码，然后就会自动将公匙拷贝至远程目录。 4.无需密码通过ssh来执行 rsync 现在

默认情况下，在执行rsync命令时通常需要我们输入密码。但有时我们并不希望如此，那么如何实现无密码执行rsync呢？ 1. 测试通过ssh可以执行rsync（需要密码） 执行rsync，确保你帐户的密码在远程服务器上可以使用，并能够将文件复制到远程服务器。 例：将本地目录 /home/linuxprobe同步到远程目录/back/linuxprobe(服务器地址：192.168.200.10) ，执行此操作时，服务器会要求你输入密码 rsync -avz -e ssh /home/linuxprobe / linuxprobe@192.168.200.10:/backup/linuxprobe/ 2. 使用ssh-keygen生成密匙 现在我们来配置ssh使得通过ssh执行rsync时不再索要密码。在本地服务器上使用ssh-keygen生成公钥和秘钥。 $ ssh-keygen Enter passphrase (empty for no passphrase): Enter same passphrase again: 注意：当它要求您输入passphrase按下enter键，不需要给任何密码。 3. 使用ssh-copy-id将公匙拷贝至远程主机 使用ssh-copy-id命令将公钥拷贝至远程主机 ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168

由于早上到公司发现/var/lib/docker/overlay2 占用空间很大，决定做一下/var/lib/docker目录迁移工作 1. 首先需要停止docker服务 systemctl stop docker 2. 通过命令df -h 先去看下磁盘大概的情况，找一个大的空间 3. 创建docker的新目录，我这边找了data, 所以我这边的新目录地址是 /data/docker/lib/ mkdir -p /data/docker/lib 注：参数-p 确保目录名称存在，如果目录不存在的就新创建一个。 4. 开始迁移 rsync -avzP /var/lib/docker /data/docker/lib/ 先确认是否安装了rsync. 参数解释： -a，归档模式，表示递归传输并保持文件属性。 -v，显示rsync过程中详细信息。可以使用"-vvvv"获取更详细信息。 -P，显示文件传输的进度信息。(实际上"-P"="--partial --progress"，其中的"--progress"才是显示进度信息的)。 -z, 传输时进行压缩提高效率。 5.指定新的docker目录 vim /lib/systemd/system/docker.service 在ExecStart加入: --graph=/data/docker/lib/docker 注

rsync 是 Unix 下的一款 应用软件 ，它能 同步 更新两处计算机的 文件 与 目录 ，并适当利用 差分编码 以减少 数据 传输。rsync中一项与其他大部分类似程序或协定中所未见的重要特性是 镜像 对每个目标只需要一次传送。rsync可拷贝／显示目录属性，以及拷贝文件，并可选择性的 压缩 以及 递归 拷贝。 在常驻模式（daemon mode）下，rsync默认监听 TCP 端口 873，以原生rsync传输协定或者通过远程 shell 如 RSH 或者 SSH 伺服文件。SSH情况下，rsync客户端运行程序必须同时在本地和远程机器上安装。 RSYNC软件介绍： rsync是类unix系统下的数据镜像备份工具，从软件的命名上就可以看出来了——remote sync。它的特性如下： 可以镜像保存整个目录树和文件系统。 可以很容易做到保持原来文件的权限、时间、软硬链接等等。 无须特殊权限即可安装。 优化的流程，文件传输效率高。 可以使用rcp、ssh等方式来传输文件，当然也可以通过直接的socket连接。 支持匿名传输，以方便进行网站镜象。 只允许客户端从服务器同步内容到本地 不允许客户端上传数据。 如果有多台源服务器要同步到同一台目的服务器上，那么最好是将源服务器设置成客户端，目的服务器设置成服务器端，当然配置文件中要允许写（read only = no）。 软件下载

实时同步数据服务原理/概念 1）需要部署好 inotify 服务，实现目录中的数据变化监控 2）需要部署好 rsync 守护进程服务，实现数据的传输 3）将 inotfy 服务和 rsync 服务建立联系，将变化的数据进行实时备份 下面是架构部分，我们现在操作的是备份服务器，作为rsync服务端，需要监控存储服务器上某一个目录的数据变化。 部署rsync守护进程服务（服务端部署： 备份服务器 ） 第一步：安装rsync服务 yum -y install rsync 第二步：编辑配置文件（/etc/rsyncd.conf，如果没有该文件，手动创建） centos7安装好了rsync之后，就创建好了该配置文件，默认是情况下，打开如下图： vim /etc/rsyncd.conf # 配置参数详解如下： uid = rsync --- 指定管理备份目录的用户 gid = rsync --- 指定管理备份目录的用户组 port = 873 --- 定义rsync备份服务的网络端口 #fake super = yes --- 将rsync用户伪装成一个超级管理员用户，除去备份文件时的报错提示 use chroot = no --- 和安全相关的配置 max connections = 200 --- 最大连接数 （同时只能有200个客户连接备份服务器） timeout = 300 ---

CentOS 7 rsync 1）软件简介 Rsync 是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。Rsync 本来是用以取代rcp 的一个工具，它当前由 Rsync.samba.org 维护。Rsync 使用所谓的“Rsync 演算法”来使本地和远程两个主机之间的文件达到同步，这个算法只传送两个文件的不同部分，而不是每次都整份传送，因此速度相当快。运行 Rsync server 的机器也叫 backup server，一个 Rsync server 可同时备份多个 client 的数据；也可以多个Rsync server 备份一个 client 的数据。 Rsync 可以搭配 rsh 或 ssh 甚至使用 daemon 模式。Rsync server 会打开一个873的服务通道（port），等待对方 Rsync 连接。连接时，Rsync server 会检查口令是否相符，若通过口令查核，则可以开始进行文件传输。第一次连通完成时，会把整份文件传输一次，下一次就只传送二个文件之间不同的部份。 Rsync 支持大多数的类 Unix 系统，无论是 Linux、Solaris 还是 BSD 上都经过了良好的测试。此外，它在windows 平台下也有相应的版本，比较知名的有 cwRsync 和 Sync2NAS。 Rsync 的基本特点如下：

rsync -av /etc/passwd /tmp/1.txt #rsync的本机传输写法 rsync -av /tmp/1.txt 192.168.188.128:/tmp/2.txt #rsync的远程传输 rsync格式 rsync [OPTION] … SRC DEST rsync [OPTION] … SRC [user@]host:DEST rsync [OPTION] … [user@]host:SRC DEST rsync [OPTION] … SRC [user@]host::DEST rsync [OPTION] … [user@]host::SRC DEST rsync常用选项 -a 包含-rtplgoD -r 同步目录时要加上，类似cp时的-r选项 -v 同步时显示一些信息，让我们知道同步的过程 -l 保留软连接 -L 加上该选项后，同步软链接时会把源文件给同步 -p 保持文件的权限属性 -o 保持文件的属主 -g 保持文件的属组 -D 保持设备文件信息 -t 保持文件的时间属性 --delete 删除DEST中SRC没有的文件 --exclude 过滤指定文件，如--exclude “logs”会把文件名包含logs的文件或者目录过滤掉，不同步 -P 显示同步过程，比如速率，比-v更加详细 -u 加上该选项后，如果DEST中的文件比SRC新，则不同步